1. Jak roboty wyszukiwarek interpretują plik robots.txt (standard wykluczania robotów)
Plik robots.txt to standardowy dokument w postaci zwykłego tekstu znajdujący się w katalogu głównym domeny (np. https://example.com/robots.txt), który instruuje automatyczne roboty indeksujące i roboty wyszukiwarek (takie jak Googlebot i Bingbot), których części witryny mogą żądać, a których nie. Regulowany przez Protokół wykluczania robotów (RFC 9309) służy jako główny mechanizm zarządzania budżetem indeksowania w celu optymalizacji wyszukiwarek (SEO).