1. 검색 엔진 스파이더가 robots.txt를 해석하는 방법(로봇 제외 표준)
robots.txt 파일은 도메인의 루트 디렉토리(예: https://example.com/robots.txt)에 있는 표준 일반 텍스트 문서로, 자동화된 웹 크롤러와 검색 엔진 스파이더(예: Googlebot 및 Bingbot)에게 요청이 허용되거나 금지되는 웹사이트 부분을 지시합니다. 로봇 배제 프로토콜(RFC 9309)의 적용을 받으며 검색 엔진 최적화(SEO)를 위한 기본 크롤링 예산 관리 메커니즘 역할을 합니다.