1. Cách các công cụ tìm kiếm diễn giải robots.txt (Tiêu chuẩn loại trừ robot)
Tệp robots.txt là tài liệu văn bản thuần chuẩn nằm ở thư mục gốc của miền (ví dụ: https://example.com/robots.txt) hướng dẫn các trình thu thập dữ liệu web tự động và trình thu thập thông tin của công cụ tìm kiếm (như Googlebot và Bingbot) những phần nào của trang web mà chúng được phép hoặc bị cấm yêu cầu. Được quản lý bởi Giao thức loại trừ robot (RFC 9309), nó đóng vai trò là cơ chế quản lý ngân sách thu thập dữ liệu chính để tối ưu hóa công cụ tìm kiếm (SEO).