1. কিভাবে সার্চ ইঞ্জিন স্পাইডাররা robots.txt ব্যাখ্যা করে (রোবটস এক্সক্লুশন স্ট্যান্ডার্ড)
একটি robots.txt ফাইল হল একটি সাধারণ প্লেইন-টেক্সট ডকুমেন্ট যা একটি ডোমেনের রুট ডিরেক্টরিতে অবস্থিত (যেমন https://example.com/robots.txt) যেটি স্বয়ংক্রিয় ওয়েব ক্রলার এবং সার্চ ইঞ্জিন স্পাইডারকে নির্দেশ দেয় (যেমন Googlebot এবং কোন ওয়েবসাইট বা Bingbot-এর জন্য অনুমোদিত পার্টসগুলি অনুরোধ রোবট এক্সক্লুশন প্রোটোকল (RFC 9309) দ্বারা পরিচালিত, এটি সার্চ ইঞ্জিন অপ্টিমাইজেশান (SEO) এর জন্য প্রাথমিক ক্রল বাজেট ম্যানেজমেন্ট মেকানিজম হিসাবে কাজ করে।