1. Como os spiders dos mecanismos de pesquisa interpretam o robots.txt (o padrão de exclusão de robôs)
Um arquivo robots.txt é um documento de texto simples padrão localizado no diretório raiz de um domínio (por exemplo, https://example.com/robots.txt) que instrui rastreadores automatizados da web e spiders de mecanismos de pesquisa (como Googlebot e Bingbot) quais partes de um site eles podem ou não solicitar. Governado pelo Protocolo de Exclusão de Robôs (RFC 9309), ele serve como o principal mecanismo de gerenciamento de orçamento de rastreamento para otimização de mecanismos de pesquisa (SEO).