1. 検索エンジンのスパイダーが robots.txt を解釈する方法 (ロボット排除基準)
robots.txt ファイルは、ドメインのルート ディレクトリ (例: https://example.com/robots.txt) にある標準のプレーンテキスト ドキュメントで、自動 Web クローラーや検索エンジン スパイダー (Googlebot や Bingbot など) に、Web サイトのどの部分のリクエストを許可または禁止するかを指示します。これはロボット排除プロトコル (RFC 9309) によって管理されており、検索エンジン最適化 (SEO) のための主要なクロール予算管理メカニズムとして機能します。