1. Cómo interpretan las arañas de los motores de búsqueda el archivo robots.txt (el estándar de exclusión de robots)
Un archivo robots.txt es un documento de texto plano estándar ubicado en el directorio raíz de un dominio (por ejemplo, https://example.com/robots.txt) que indica a los rastreadores web automatizados y a los motores de búsqueda (como Googlebot y Bingbot) qué partes de un sitio web tienen permitido o prohibido solicitar. Regido por el Protocolo de exclusión de robots (RFC 9309), sirve como principal mecanismo de gestión del presupuesto de rastreo para la optimización de motores de búsqueda (SEO).