1. Comment les robots des moteurs de recherche interprètent le fichier robots.txt (la norme d'exclusion des robots)
Un fichier robots.txt est un document standard en texte brut situé dans le répertoire racine d'un domaine (par exemple https://example.com/robots.txt) qui indique aux robots d'exploration Web automatisés et aux robots des moteurs de recherche (comme Googlebot et Bingbot) quelles parties d'un site Web ils sont autorisés ou interdits de demander. Régi par le Robots Exclusion Protocol (RFC 9309), il constitue le principal mécanisme de gestion du budget d'exploration pour l'optimisation des moteurs de recherche (SEO).