1. سرچ انجن مکڑیاں robots.txt (روبوٹس کے اخراج کا معیار) کی تشریح کیسے کرتی ہیں
A robots.txt فائل ایک معیاری سادہ متن کی دستاویز ہے جو کسی ڈومین کی روٹ ڈائرکٹری میں واقع ہے (جیسے https://example.com/robots.txt) جو خودکار ویب کرالر اور سرچ انجن اسپائیڈرز (جیسے Googlebot اور بنگ بوٹ کے پرزوں کی اجازت دیتی ہے) درخواست روبوٹس ایکسکلوژن پروٹوکول (RFC 9309) کے زیر انتظام، یہ سرچ انجن آپٹیمائزیشن (SEO) کے لیے بنیادی کرال بجٹ مینجمنٹ میکانزم کے طور پر کام کرتا ہے۔