1.
Bir robots.txt dosyası, bir alanın (ör. https://example.com/robots.txt) kök dizininde bulunan ve otomatik web tarayıcılarına ve arama motoru örümceklerine (Googlebot ve Bingbot gibi) bir web sitesinin hangi bölümlerini talep etmelerine izin verildiğini veya yasaklandığını bildiren standart bir düz metin belgesidir. Robot Hariç Tutma Protokolü (RFC 9309) tarafından yönetilen bu protokol, arama motoru optimizasyonu (SEO) için birincil tarama bütçesi yönetimi mekanizması olarak hizmet eder.