Alat SEO

Buat & Edit File robots.txt Secara Online

Tetapkan arahan dan aturan perayapan untuk Googlebot, Bingbot, dan laba-laba web untuk mengelola anggaran perayapan SEO dan melindungi direktori pribadi.

16px
1
0 kata-kata 0 karakter 0 tanpa spasi 1 baris 0 paragraf
60:00 gratis Brs 1, Kol 1 Tersimpan secara lokal

Simpan ini dalam catatan pribadi

Gratis hingga 5 nada, Pro tidak terbatas.

Panduan Resmi & Referensi Sintaksis

Panduan Mendalam: Buat & Edit File robots.txt Secara Online

Semua yang perlu Anda ketahui tentang aturan pemformatan, spesifikasi teknis, dan praktik terbaik.

1. Bagaimana Laba-laba Mesin Pencari Menafsirkan robots.txt (Standar Pengecualian Robot)

File robots.txt adalah dokumen teks biasa standar yang terletak di direktori akar domain (misalnya https://example.com/robots.txt) yang menginstruksikan perayap web otomatis dan spider mesin telusur (seperti Googlebot dan Bingbot) bagian mana dari situs web yang boleh atau dilarang mereka minta. Dikelola oleh Robots Exclusion Protocol (RFC 9309), protokol ini berfungsi sebagai mekanisme pengelolaan anggaran perayapan utama untuk pengoptimalan mesin telusur (SEO).

2. Perincian Sintaks Petunjuk: Agen-pengguna, Izinkan, Larang & Peta Situs

Robots.txt beroperasi melalui serangkaian arahan standar yang ringkas:

  • Agen-pengguna: Menentukan perayap web mana yang menerapkan aturan berikut. Agen pengguna: * menargetkan semua laba-laba web. Agen tertentu mencakup Googlebot, Bingbot, Slurp, dan GPTBot.
  • Larang: Memerintahkan perayap yang ditargetkan untuk tidak meminta URL apa pun yang dimulai dengan jalur yang ditentukan (mis. Larang: /admin/).
  • Izinkan: Mengganti aturan Larang yang luas untuk anak tertentu path (misalnya Disallow: /media/ diikuti oleh Allow: /media/public/).
  • Peta Situs: Menentukan URL absolut dan lengkap dari peta situs XML Anda (misalnya Peta Situs: https://example.com/sitemap.xml). Anda dapat mendeklarasikan beberapa baris peta situs.

3. Pencocokan Pola & Wildcard di robots.txt (* dan $)

Mesin telusur modern mendukung pencocokan wildcard dalam perintah robots.txt:

  • Asterisk Wildcard (*): Cocok dengan urutan karakter apa pun. Misalnya, Disallow: /*.pdf$ memblokir semua URL yang diakhiri dengan .pdf.
  • Anchor Akhir URL ($): Mengaitkan kecocokan ke akhir string URL. Misalnya, Disallow: /checkout$ memblokir /checkout namun mengizinkan /checkout/confirmation.
  • Pemblokiran Parameter Kueri: Memblokir URL duplikat penelusuran internal dengan Disallow: /*?s=*.

4. Kesalahan SEO Kritis: Anggaran Perayapan vs Pencegahan Indeksasi

Hindari kesalahpahaman penting berikut saat membuat file robots.txt:

  • robots.txt BUKAN Gudang Rahasia: Jangan pernah mencantumkan URL admin tersembunyi yang sensitif di robots.txt jika keamanan bergantung pada ketidakjelasan—file dapat dibaca secara publik oleh siapa pun. Lindungi titik akhir pribadi dengan autentikasi server.
  • Menolak URL TIDAK Menjamin De-Indeksasi: Jika situs web eksternal tertaut ke URL yang tidak diizinkan, Google masih dapat mengindeks URL tersebut tanpa meng-crawl kontennya. Untuk benar-benar mencegah pengindeksan, biarkan laman dapat dirayapi dan sertakan di header HTML atau kembalikan X-Robots-Tag: noindex header HTTP.
  • Pemblokiran Situs Penuh yang Tidak Disengaja: Baris yang bertuliskan Disallow: / di bawah User-agent: * sepenuhnya memblokir mesin telusur untuk merayapi Anda keseluruhan situs web.

5. Panduan Langkah demi Langkah: Membuat dan Menerapkan robots.txt

  1. Sesuaikan aturan perayap dan URL peta situs pada editor di atas.
  2. Tekan Ctrl + S atau klik File → Simpan File untuk mengunduh file robots.txt Anda yang bersih.
  3. Unggah file ke direktori akar publik yang tepat dari domain situs web Anda sehingga dapat diakses di https://domainanda.com/robots.txt.
  4. Validasi aturan Anda menggunakan Penguji Robots.txt Google Search Console.
Platform Berkinerja Tinggi

Dirancang untuk Alat SEO

Dirancang untuk kecepatan, privasi, dan produktivitas. Tanpa beban virtual-DOM, penyimpanan native IndexedDB, Web Worker, enkripsi zero-knowledge, dan alat Pro canggih.

Booting Cepat Kurang dari Sedetik

Dibuat dengan vanilla JS berkinerja tinggi tanpa beban kerangka kerja yang berat. Memuat instan dan siap mengetik dalam waktu kurang dari 1 detik pada 60 FPS.

Perintah Garis Miring Gaya Notion (/)

Ketik / pada baris baru untuk memicu menu cepat. Masukkan judul, daftar tugas, poin, blok kode, dan tabel dengan mudah.

Pengetikan Suara & Suara-ke-Teks

Diktekan catatan panjang dan ide tanpa tangan menggunakan pengenalan suara waktu nyata dengan visualisasi audio langsung.

Pengimpor PDF, Word & Dokumen

Ekstrak teks di sisi klien dari file PDF, Word (.docx), Markdown, TXT, JSON, CSV, YAML, dan kode tanpa unggahan ke server.

Daftar Periksa & Tugas Interaktif

Buat daftar tugas dinamis dengan sintaks markdown - [ ]. Klik kotak centang untuk beralih tugas dengan statistik penyelesaian langsung.

Fokus Zen & Gulir Mesin Tik

Fokus menulis tanpa gangguan (F10). Pengguliran mesin tik menjaga baris pengetikan aktif Anda terkunci di tengah layar.

Peralihan Cepat Spotlight (Ctrl+K)

Beralih antar catatan, cari teks, jalankan perintah pemformatan, dan filter tag secara instan dari palet perintah.

Riwayat Versi & Snapshot

Jangan pernah kehilangan dokumen penting. Titik pemulihan otomatis di IndexedDB memungkinkan Anda melihat riwayat dan memulihkannya dengan satu klik (Ctrl+H).

Organisasi & Filter Tagar

Beri tag catatan dengan #tag di mana saja dalam teks. Klik pil tag untuk mengelompokkan riset, proyek, dan ide terkait secara instan.

PRO

Brankas Terkunci Kata Sandi

Amankan dokumen rahasia, kredensial, dan buku harian dengan enkripsi tingkat militer 256-bit AES-GCM yang hanya dapat dibuka dengan kunci utama Anda.

PRO

Tautan Wiki & Backlink

Hubungkan ide dengan tautan wiki dua arah ([[Judul Catatan]]), pelengkapan otomatis, dan referensi backlink otomatis.

PRO

Pengingat Catatan Cerdas

Jadwalkan tenggat waktu dan peringatan pada catatan apa pun. Terima notifikasi push peramban dan pengingat berulang tepat waktu.

Sinkronisasi Cloud Lintas Perangkat

Sinkronisasi cloud latar belakang menjaga catatan aktif dan tab tetap identik di ponsel, tablet, dan komputer secara waktu nyata.

Penyimpanan Asli IndexedDB

Ruang kerja Anda disimpan di IndexedDB asinkron. Mendukung catatan masif dan banyak tab tanpa macet atau kehilangan data.

Enkripsi Zero-Knowledge

Bagikan catatan dengan enkripsi 256-bit AES-GCM. Kunci dekripsi berada di hash URL (#key=...) dan tidak pernah dikirim ke server.

Ekspor Universal Multi-Format

Ekspor instan tanpa server ke .txt, .md, .json, .csv, .pdf dengan nomor halaman, Word .docx, .html, dan Kode QR.

Web Worker Luar Thread Utama

Penghitungan kata langsung, cari & ganti regex, dan pengurutan baris berjalan di dalam Web Worker khusus pada 60fps.

Aplikasi PWA 100% Offline

Instal Outsmart Notes sebagai PWA desktop atau seluler. Tulis dan atur catatan di mana saja tanpa koneksi internet.

Alat SEO

Pertanyaan yang Sering Diajukan: Buat & Edit File robots.txt Secara Online

Pertanyaan dan jawaban umum mengenai Buat & Edit File robots.txt Secara Online, sintaksis, dan privasi.

File robots.txt harus ditempatkan tepat di root domain situs web Anda (misalnya https://example.com/robots.txt). Perayap mesin pencari tidak akan mencarinya di subdirektori.

Tidak. Disallow mencegah Googlebot merayapi laman, namun jika situs web lain tertaut ke laman tersebut, Google mungkin masih menampilkan URL di hasil penelusuran tanpa cuplikan. Untuk mencegah pengindeksan secara ketat, gunakan ``.

Ya. Anda dapat menambahkan `Agen pengguna: GPTBot` diikuti dengan `Larang: /` untuk meminta pengikis web OpenAI melewati situs Anda.

Perintah Peta Situs harus selalu menggunakan URL absolut dan lengkap termasuk https:// (misalnya `Peta Situs: https://example.com/sitemap.xml`).

Ya. Mengakali Catatan beroperasi 100% sisi klien di browser Anda. Tidak ada URL situs web atau aturan konfigurasi yang dikirim ke server kami.

Brankas Pro mengenkripsi catatan pribadi Anda secara lokal di peramban menggunakan 256-bit AES-GCM dan PBKDF2. Kata sandi utama tidak pernah dikirim ke server.

Hubungkan catatan Anda dengan mengetik [[ di mana saja. Menu pelengkapan otomatis akan menyarankan catatan yang ada, dan panel Backlink mencantumkan setiap referensi masuk.

Anda dapat menjadwalkan pengingat satu kali atau berulang. Aplikasi memicu peringatan desktop dan suara saat jatuh tempo.

Tekan / pada baris kosong untuk membuka menu sembulan. Masukkan judul (H1–H6), daftar tugas, blok kode, dan garis pemisah dengan cepat.

Ya! Klik File → Unggah Dokumen atau seret dan lepas file ke editor. Teks diekstrak di peramban tanpa unggahan ke server.

Klik ikon mikrofon di bilah alat. Menggunakan Web Speech API peramban untuk mengubah suara Anda menjadi teks secara instan.

Mode Zen (F10) menyembunyikan semua bilah alat untuk pengalaman layar penuh yang bersih. Pengguliran mesin tik menjaga baris aktif tetap berada di tengah layar.

Tekan Ctrl+K untuk membuka Spotlight. Anda dapat mencari catatan berdasarkan judul, memfilter dengan #tag, dan beralih tab tanpa menyentuh mouse.

Outsmart Notes secara otomatis menyimpan snapshot di IndexedDB. Tekan Ctrl+H untuk melihat pratinjau versi sebelumnya dan memulihkannya.

Peramban Anda mengenkripsi catatan secara lokal menggunakan Web Crypto API (AES-GCM 256-bit). Kunci dekripsi berada setelah simbol # (#key=...) dan tidak pernah dikirim ke server.

Outsmart Notes menggunakan IndexedDB sebagai mesin penyimpanan utama. Bersifat asinkron, mendukung dokumen besar, dan mencegah pembekuan antarmuka.

Ketik - [ ] Nama tugas untuk membuat item tugas, atau - [x] untuk menandai selesai. Bilah status melacak progres waktu nyata.

Kompiler dokumen sisi klien otomatis menerjemahkan sintaks Markdown menjadi tipografi bergaya saat mengekspor ke PDF dan Word (.docx).

Ya! Outsmart Notes adalah Progressive Web App (PWA). Klik Instal atau Tambahkan ke Layar Utama untuk menggunakannya secara mandiri dan offline.