1. Hoe spiders van zoekmachines robots.txt interpreteren (de Robots Exclusion Standard)
Een robots.txt-bestand is een standaard tekstdocument in de hoofdmap van een domein (bijvoorbeeld https://example.com/robots.txt) dat geautomatiseerde webcrawlers en spiders van zoekmachines (zoals Googlebot en Bingbot) instrueert welke delen van een website ze wel of niet mogen opvragen. Het valt onder het Robots Exclusion Protocol (RFC 9309) en dient als het primaire crawlbudgetbeheermechanisme voor zoekmachineoptimalisatie (SEO).