Công cụ SEO

Tạo và chỉnh sửa tệp robots.txt trực tuyến

Xác định các chỉ thị và quy tắc thu thập dữ liệu cho Googlebot, Bingbot và trình thu thập dữ liệu web để quản lý ngân sách thu thập dữ liệu SEO và bảo vệ các thư mục riêng tư.

16px
1
0 từ 0 ký tự 0 không dấu cách 1 dòng 0 đoạn văn
60:00 miễn phí Dòng 1, Cột 1 Đã lưu cục bộ

Lưu cái này vào một ghi chú riêng tư

Miễn phí tối đa 5 ghi chú, Pro là không giới hạn.

Hướng dẫn chính thức & tài liệu tham khảo cú pháp

Hướng dẫn chuyên sâu: Tạo và chỉnh sửa tệp robots.txt trực tuyến

Mọi thứ bạn cần biết về quy tắc định dạng, thông số kỹ thuật và phương pháp hay nhất.

1. Cách các công cụ tìm kiếm diễn giải robots.txt (Tiêu chuẩn loại trừ robot)

Tệp robots.txt là tài liệu văn bản thuần chuẩn nằm ở thư mục gốc của miền (ví dụ: https://example.com/robots.txt) hướng dẫn các trình thu thập dữ liệu web tự động và trình thu thập thông tin của công cụ tìm kiếm (như Googlebot và Bingbot) những phần nào của trang web mà chúng được phép hoặc bị cấm yêu cầu. Được quản lý bởi Giao thức loại trừ robot (RFC 9309), nó đóng vai trò là cơ chế quản lý ngân sách thu thập dữ liệu chính để tối ưu hóa công cụ tìm kiếm (SEO).

2. Phân tích cú pháp chỉ thị: Tác nhân người dùng, Cho phép, Không cho phép & Sơ đồ trang web

Robots.txt hoạt động thông qua một tập hợp ngắn gọn các chỉ thị được tiêu chuẩn hóa:

  • Tác nhân người dùng: Chỉ định trình thu thập dữ liệu web nào áp dụng các quy tắc sau. Tác nhân người dùng: * nhắm mục tiêu tất cả các trình thu thập dữ liệu trên web. Các tác nhân cụ thể bao gồm Googlebot, Bingbot, Slurp và GPTBot.
  • Không cho phép: Hướng dẫn trình thu thập thông tin được nhắm mục tiêu không yêu cầu bất kỳ URL nào bắt đầu bằng đường dẫn đã chỉ định (ví dụ: Disallow: /admin/).
  • Cho phép: Ghi đè quy tắc Không cho phép rộng đối với một đường dẫn con cụ thể (ví dụ: Không cho phép: /media/ theo sau là Cho phép: /media/public/).
  • Sơ đồ trang web: Chỉ định URL tuyệt đối, đầy đủ của sơ đồ trang web XML của bạn (ví dụ: Sơ đồ trang web: https://example.com/sitemap.xml). Bạn có thể khai báo nhiều dòng sơ đồ trang web.

3. Khớp mẫu & Ký tự đại diện trong robots.txt (* và $)

Các công cụ tìm kiếm hiện đại hỗ trợ khớp ký tự đại diện trong lệnh robots.txt:

  • Ký tự đại diện dấu hoa thị (*): Khớp bất kỳ chuỗi ký tự nào. Ví dụ: Disallow: /*.pdf$ chặn tất cả các URL kết thúc bằng .pdf.
  • Neo cuối URL ($): Neo kết quả khớp vào cuối chuỗi URL. Ví dụ: Không cho phép: /checkout$ chặn /checkout nhưng cho phép /checkout/confirmation.
  • Chặn tham số truy vấn: Chặn các URL trùng lặp tìm kiếm nội bộ bằng Không cho phép: /*?s=*.

4. Cạm bẫy SEO nghiêm trọng: Ngân sách thu thập dữ liệu và ngăn chặn lập chỉ mục

Tránh những quan niệm sai lầm nghiêm trọng này khi tạo tệp robots.txt của bạn:

  • robots.txt KHÔNG phải là Kho bí mật: Không bao giờ liệt kê các URL quản trị ẩn nhạy cảm trong robots.txt nếu tính bảo mật phụ thuộc vào tính ẩn danh—bất kỳ ai cũng có thể đọc tệp này một cách công khai. Thay vào đó, hãy bảo vệ các điểm cuối riêng tư bằng xác thực máy chủ.
  • Việc không cho phép một URL KHÔNG đảm bảo việc hủy lập chỉ mục: Nếu các trang web bên ngoài liên kết đến một URL không được phép, Google vẫn có thể lập chỉ mục URL đó mà không thu thập dữ liệu nội dung của URL đó. Để ngăn chặn nghiêm ngặt việc lập chỉ mục, hãy để trang ở chế độ có thể thu thập dữ liệu và bao gồm trong tiêu đề HTML hoặc trả lại tiêu đề HTTP X-Robots-Tag: noindex.
  • Chặn toàn trang web ngẫu nhiên: Một dòng đọc Disallow: / bên dưới User-agent: * chặn hoàn toàn các công cụ tìm kiếm thu thập dữ liệu toàn bộ trang web của bạn trang web.

5. Hướng dẫn từng bước: Tạo và triển khai robots.txt

  1. Tùy chỉnh quy tắc trình thu thập thông tin và URL sơ đồ trang web trong trình chỉnh sửa ở trên.
  2. Nhấn Ctrl + S hoặc nhấp vào Tệp → Lưu tệp để tải xuống tệp robots.txt sạch của bạn.
  3. Tải tệp lên thư mục gốc công khai chính xác của miền trang web của bạn để có thể truy cập được tại https://yourdomain.com/robots.txt.
  4. Xác thực quy tắc của bạn bằng Trình kiểm tra Robots.txt của Google Search Console.
Nền tảng hiệu suất cao

Được thiết kế cho Công cụ SEO

Được thiết kế cho tốc độ, quyền riêng tư và năng suất. Không tốn tài nguyên Virtual-DOM, lưu trữ IndexedDB nguyên bản, Web Worker chạy ngầm, mã hóa zero-knowledge và công cụ Pro mạnh mẽ.

Khởi động tức thì dưới 1 giây

Xây dựng bằng vanilla JS hiệu năng cao không có framework nặng nề. Tải tức thì và sẵn sàng nhập liệu dưới 1 giây với độ phản hồi mượt mà 60 FPS.

Lệnh gạch chéo kiểu Notion (/)

Nhập / trên bất kỳ dòng mới nào để mở menu chèn nhanh. Dễ dàng chèn tiêu đề, danh sách việc cần làm, khối mã và bảng biểu.

Nhập bằng giọng nói & Chuyển giọng nói thành văn bản

Đọc chính tả các ghi chú dài và ý tưởng rảnh tay với nhận dạng giọng nói theo thời gian thực cùng sóng âm trực quan.

Bộ nhập tài liệu PDF, Word và tệp tin

Tải lên và trích xuất văn bản phía máy khách từ PDF, Word (.docx), Markdown, TXT, JSON, CSV và mã nguồn mà không cần tải lên máy chủ.

Danh sách việc cần làm & Tác vụ tương tác

Tạo danh sách việc cần làm linh hoạt bằng cú pháp Markdown - [ ]. Nhấp vào hộp kiểm để chuyển đổi tác vụ với thống kê hoàn thành trực tiếp.

Tập trung Zen & Cuộn máy đánh chữ

Đắm chìm trong không gian viết không phiền nhiễu (F10). Cuộn máy đánh chữ giữ dòng đang gõ luôn ở giữa màn hình.

Chuyển đổi nhanh Spotlight (Ctrl+K)

Chuyển đổi giữa các ghi chú, tìm kiếm văn bản, thực thi lệnh định dạng và lọc thẻ ngay lập tức từ bảng lệnh bàn phím.

Lịch sử phiên bản & Ảnh chụp nhanh

Không bao giờ mất dữ liệu quan trọng. Điểm kiểm tra tự động lưu trong IndexedDB cho phép bạn xem lại lịch sử và khôi phục chỉ bằng một cú nhấp (Ctrl+H).

Tổ chức & Bộ lọc bằng Hashtag

Gắn thẻ ghi chú với #tag ở bất kỳ đâu trong văn bản. Nhấp vào thẻ để nhóm các nghiên cứu, dự án và ý tưởng liên quan ngay lập tức.

PRO

Két sắt bảo vệ bằng mật khẩu

Bảo mật các ý tưởng riêng tư, thông tin đăng nhập và nhật ký bằng mã hóa quân sự AES-GCM 256-bit phía máy khách, mở khóa bằng khóa chính của bạn.

PRO

Liên kết Wiki & Liên kết ngược

Kết nối tư duy bằng liên kết wiki hai chiều ([[Tiêu đề]]), tự động hoàn thành và tham chiếu liên kết ngược tự động.

PRO

Lời nhắc ghi chú thông minh

Lên lịch thời hạn và cảnh báo trên bất kỳ ghi chú nào. Nhận thông báo đẩy trình duyệt, chuông âm thanh và lời nhắc định kỳ đúng giờ.

Đồng bộ hóa đám mây đa thiết bị

Đồng bộ hóa nền liền mạch giữ cho các ghi chú và tab làm việc của bạn hoàn toàn giống nhau trên điện thoại, máy tính bảng và PC.

Lưu trữ cục bộ IndexedDB

Không gian làm việc của bạn được lưu trong IndexedDB không đồng bộ. Hỗ trợ các ghi chú khổng lồ mà không làm đơ giao diện.

Mã hóa Zero-Knowledge

Chia sẻ ghi chú bằng mã hóa AES-GCM 256-bit. Khóa giải mã nằm độc quyền trong chuỗi hash URL (#key=...) và không bao giờ gửi tới máy chủ.

Xuất tệp đa định dạng toàn diện

Xuất ngay lập tức không cần máy chủ sang .txt, .md, .json, .csv, .pdf có số trang, Word .docx, .html và Mã QR.

Web Worker chạy nền ngoài luồng

Đếm từ trực tiếp, tìm kiếm regex và sắp xếp dòng chạy mượt mà trong Web Worker riêng biệt với tốc độ 60 khung hình/giây.

Ứng dụng PWA hoạt động 100% ngoại tuyến

Cài đặt Outsmart Notes dưới dạng ứng dụng PWA cho máy tính hoặc thiết bị di động. Soạn thảo mọi lúc mọi nơi không cần mạng.

Công cụ SEO

Câu hỏi thường gặp: Tạo và chỉnh sửa tệp robots.txt trực tuyến

Các câu hỏi và câu trả lời phổ biến về Tạo và chỉnh sửa tệp robots.txt trực tuyến, cú pháp và quyền riêng tư.

Tệp robots.txt phải được đặt ở thư mục gốc chính xác của miền trang web của bạn (ví dụ: https://example.com/robots.txt). Trình thu thập thông tin của công cụ tìm kiếm sẽ không tìm kiếm nó trong các thư mục con.

Không. Không cho phép ngăn Googlebot thu thập dữ liệu trang nhưng nếu các trang web khác liên kết đến trang đó, Google vẫn có thể hiển thị URL trong kết quả tìm kiếm mà không có đoạn trích. Để ngăn chặn nghiêm ngặt việc lập chỉ mục, hãy sử dụng ``.

Đúng. Bạn có thể thêm `User-agent: GPTBot` theo sau là `Disallow: /` để yêu cầu trình quét web của OpenAI bỏ qua trang web của bạn.

Lệnh Sơ đồ trang web phải luôn sử dụng URL tuyệt đối, đầy đủ bao gồm https:// (ví dụ: `Sơ đồ trang web: https://example.com/sitemap.xml`).

Đúng. Outsmart Notes vận hành 100% phía máy khách trong trình duyệt của bạn. Không có URL trang web hoặc quy tắc cấu hình nào được gửi đến máy chủ của chúng tôi.

Két sắt Pro mã hóa ghi chú cục bộ trong trình duyệt bằng AES-GCM 256-bit và PBKDF2 với 100.000 lần lặp. Mật khẩu chính không bao giờ rời khỏi trình duyệt của bạn.

Kết nối các ghi chú bằng cách nhập [[. Menu tự động hoàn thành sẽ gợi ý ghi chú và bảng liên kết ngược sẽ liệt kê mọi ghi chú liên kết đến ghi chú hiện tại.

Bạn có thể lên lịch lời nhắc một lần hoặc định kỳ. Hệ thống kích hoạt cảnh báo trên màn hình và chuông âm thanh khi đến hạn.

Nhấn / trên dòng trống để mở menu tương tác. Chèn nhanh tiêu đề (H1–H6), danh sách công việc, khối mã và đường phân cách.

Có! Nhấp vào Tệp → Nhập tài liệu hoặc kéo và thả bất kỳ tệp nào vào trình soạn thảo. Văn bản được trích xuất cục bộ mà không cần tải lên máy chủ.

Nhấp vào biểu tượng micrô trên thanh công cụ. Ứng dụng sử dụng Web Speech API để chuyển đổi giọng nói thành văn bản trực tiếp.

Chế độ Zen (F10) ẩn các thanh công cụ để viết toàn màn hình. Cuộn máy đánh chữ giữ cho dòng đang gõ luôn ở giữa màn hình theo chiều dọc.

Nhấn Ctrl+K để mở Spotlight. Bạn có thể tìm kiếm theo tiêu đề, nội dung, lọc theo #thẻ và chuyển đổi tab chỉ bằng bàn phím.

Outsmart Notes tự động lưu các bản sửa đổi trong IndexedDB. Nhấn Ctrl+H để xem lại các phiên bản cũ và khôi phục chỉ bằng một cú nhấp.

Trình duyệt mã hóa ghi chú cục bộ bằng Web Crypto API (AES-GCM 256-bit). Khóa giải mã nằm sau ký hiệu # (#key=...) và không bao giờ gửi đến máy chủ.

Outsmart Notes sử dụng IndexedDB làm công cụ lưu trữ chính. Không đồng bộ, hỗ trợ tài liệu dung lượng lớn và ngăn chặn hiện tượng đơ giao diện.

Nhập - [ ] Tên việc để tạo tác vụ, hoặc - [x] để đánh dấu hoàn thành. Thanh trạng thái tự động theo dõi tiến độ theo thời gian thực.

Trình biên dịch tài liệu phía máy khách tự động chuyển đổi cú pháp Markdown thành kiểu chữ chuyên nghiệp khi xuất sang PDF và Word (.docx).

Có! Outsmart Notes là ứng dụng PWA. Trên Chrome, Edge, Safari, nhấp vào Cài đặt hoặc Thêm vào màn hình chính để sử dụng ngoại tuyến độc lập.