1. Wie Suchmaschinen-Spider robots.txt interpretieren (The Robots Exclusion Standard)
Eine robots.txt-Datei ist ein standardmäßiges Klartextdokument im Stammverzeichnis einer Domain (z. B. https://example.com/robots.txt), das automatisierte Webcrawler und Suchmaschinen-Spider (wie Googlebot und Bingbot) anweist, welche Teile einer Website sie anfordern dürfen oder nicht. Es unterliegt dem Robots Exclusion Protocol (RFC 9309) und dient als primärer Crawl-Budget-Managementmechanismus für die Suchmaschinenoptimierung (SEO).