1. كيف تفسر عناكب محرك البحث ملف robots.txt (معيار استبعاد الروبوتات)
ملف robots.txt هو مستند نص عادي قياسي موجود في الدليل الجذر للنطاق (على سبيل المثال، https://example.com/robots.txt) والذي يوجه برامج زحف الويب الآلية وعناكب محركات البحث (مثل Googlebot وBingbot) إلى أجزاء موقع الويب المسموح لهم أو المحظور عليهم طلبها. ويخضع هذا البروتوكول لبروتوكول استبعاد الروبوتات (RFC 9309) كآلية أساسية لإدارة ميزانية الزحف لتحسين محركات البحث (SEO).