1. खोज इंजन स्पाइडर robots.txt की व्याख्या कैसे करते हैं (रोबोट बहिष्करण मानक)
एक robots.txt फ़ाइल एक मानक सादा-पाठ दस्तावेज़ है जो एक डोमेन की मूल निर्देशिका (जैसे https://example.com/robots.txt) पर स्थित होता है जो स्वचालित वेब क्रॉलर और खोज इंजन स्पाइडर (जैसे Googlebot और Bingbot) को निर्देश देता है कि उन्हें वेबसाइट के किन हिस्सों के लिए अनुरोध करने की अनुमति है या मनाही है। रोबोट बहिष्करण प्रोटोकॉल (आरएफसी 9309) द्वारा शासित, यह खोज इंजन अनुकूलन (एसईओ) के लिए प्राथमिक क्रॉल बजट प्रबंधन तंत्र के रूप में कार्य करता है।