Інструмент SEO

Створюйте та редагуйте файли robots.txt онлайн

Визначте директиви та правила сканування для Googlebot, Bingbot і веб-павуків, щоб керувати бюджетами сканування SEO та захищати приватні каталоги.

16px
1
0 слова 0 символів 0 без пробілів 1 рядків 0 абзаців
60:00 безкоштовно Ряд 1, Кол 1 Збережено локально

Збережіть це в особистій нотатці

Безкоштовно до 5 нотаток, Pro необмежений.

Авторитетний посібник і довідник синтаксису

Детальний посібник: Створюйте та редагуйте файли robots.txt онлайн

Усе, що вам потрібно знати про правила форматування, технічні характеристики та практичні робочі процеси.

1. Як павуки пошукових систем інтерпретують robots.txt (стандарт виключення роботів)

Файл robots.txt – це стандартний текстовий документ, розташований у кореневому каталозі домену (наприклад, https://example.com/robots.txt), який повідомляє автоматизованим веб-сканерам і павукам пошукових систем (наприклад, Googlebot і Bingbot), які частини веб-сайту їм дозволено чи заборонено. запитуючи. Керується Протоколом виключення роботів (RFC 9309), він служить основним механізмом керування бюджетом сканування для оптимізації пошукових систем (SEO).

2. Розбивка синтаксису директиви: агент користувача, дозвіл, заборона та карта сайту

Robots.txt працює через стислий набір стандартизованих директив:

  • User-agent: визначає, до якого веб-сканера застосовуються наведені нижче правила. User-agent: * націлений на всіх веб-павуків. Конкретні агенти включають Googlebot, Bingbot, Slurp і GPTBot.
  • Disallow: Вказує цільовому веб-сканеру не запитувати будь-яку URL-адресу, що починається з указаного шляху (наприклад, Disallow: /admin/).
  • Allow: замінює широке значення Правило заборони для певного дочірнього шляху (наприклад, Disallow: /media/, а потім Allow: /media/public/).
  • Sitemap: визначає повну абсолютну URL-адресу вашої XML-карти сайту (наприклад, Sitemap: https://example.com/sitemap.xml). Ви можете оголосити кілька рядків карти сайту.

3. Зіставлення шаблонів і символи підстановки в robots.txt (* і $)

Сучасні пошукові системи підтримують зіставлення символів підстановки в директивах robots.txt:

  • Зірочка підстановки (*): відповідає будь-якій послідовності символів. Наприклад, Disallow: /*.pdf$ блокує всі URL-адреси, що закінчуються на .pdf.
  • Прив’язка кінця URL-адреси ($): прив’язує збіг до кінця рядка URL-адреси. Наприклад, Disallow: /checkout$ блокує /checkout, але дозволяє /checkout/confirmation.
  • Блокування параметрів запиту: блокує повторювані URL-адреси внутрішнього пошуку за допомогою Disallow: /*?s=*.

4. Критичні підводні камені SEO: сканування бюджету проти запобігання індексації

Уникайте цих критичних помилок під час створення файлу robots.txt:

  • robots.txt НЕ є таємним сховищем: ніколи не перераховуйте конфіденційні приховані URL-адреси адміністратора в robots.txt, якщо безпека залежить від невідомості — файл доступний для читання всім. Натомість захистіть приватні кінцеві точки за допомогою автентифікації сервера.
  • Заборона URL-адреси НЕ гарантує деіндексацію: якщо зовнішні веб-сайти посилаються на заборонену URL-адресу, Google все одно може проіндексувати URL-адресу, не скануючи її вміст. Щоб суворо запобігти індексації, залиште сторінку доступною для сканування та додайте у заголовок HTML або поверніть HTTP-заголовок X-Robots-Tag: noindex.
  • Випадкове повне блокування сайту: рядок, який читає Disallow: / під User-agent: * повністю блокує пошукові системи від сканування всього веб-сайту.

5. Покроковий посібник: створення та розгортання robots.txt

  1. Налаштуйте правила веб-сканера та URL-адресу карти сайту в редакторі вище.
  2. Натисніть Ctrl + S або натисніть Файл → Зберегти файл, щоб завантажити чистий файл robots.txt.
  3. Завантажте файл у точний загальнодоступний кореневий каталог домену вашого веб-сайту, щоб він був доступний за адресою https://yourdomain.com/robots.txt.
  4. Перевірте свої правила за допомогою тестувальника Robots.txt Google Search Console.
Високопродуктивна платформа

Створено для Інструмент SEO

Створено для швидкості, приватності та продуктивності. Жодного навантаження віртуального DOM, вбудоване сховище IndexedDB, Web Workers, наскрізне шифрування та Pro-інструменти.

Миттєвий запуск менш ніж за секунду

Створено на чистому високопродуктивному JS без важких фреймворків. Завантажується миттєво і готовий до введення менш ніж за 1 секунду зі швидкістю 60 кадрів/с.

Команди через слеш (/) у стилі Notion

Введіть / на новому рядку для меню швидкої вставки. Легко додавайте заголовки, списки завдань, блоки коду, таблиці та виноски.

Голосове введення та розпізнавання мовлення

Диктуйте довгі нотатки та думки без рук за допомогою розпізнавання мовлення в реальному часі з візуалізацією звуку.

Імпорт PDF, Word та документів

Витягуйте текст прямо в браузері з файлів PDF, документів Word (.docx), Markdown, TXT, JSON, CSV, YAML та коду без надсилання на сервер.

Інтерактивні чек-лісти та завдання

Створюйте динамічні списки завдань із синтаксисом - [ ]. Відзначайте завдання в редакторі та вікні перегляду зі статистикою в рядку стану.

Дзен-фокусування та режим друкарської машинки

Пориньте в процес письма без відволікань (F10). Режим друкарської машинки тримає поточний рядок строго по центру екрана.

Швидкий перемикач Spotlight (Ctrl+K)

Миттєво перемикайтеся між нотатками, шукайте текст, форматуйте та фільтруйте теги безпосередньо з клавіатури.

Історія версій та контрольні знімки

Ніколи не втрачайте важливу роботу. Автоматичні знімки в IndexedDB дозволяють переглядати минулі редакції, порівнювати зміни та повертатися в один клік (Ctrl+H).

Організація та фільтри за хештегами

Позначайте нотатки тегами #тег прямо в тексті. Натискайте на теги або використовуйте фільтр для миттєвого групування проєктів.

PRO

Захищене паролем сховище

Захистіть конфіденційні думки, паролі та щоденники стійким 256-бітним шифруванням AES-GCM. Розблокується лише вашим майстер-ключем.

PRO

Вікі-посилання та зворотні зв'язки

Пов'язуйте думки двосторонніми вікі-посиланнями ([[Назва нотатки]]) з автодоповненням та панеллю зворотних зв'язків.

PRO

Розумні нагадування для нотаток

Встановлюйте терміни виконання та нагадування. Отримуйте push-сповіщення браузера, звукові сигнали та періодичні сповіщення вчасно.

Синхронізація між пристроями в хмарі

Фонова синхронізація зберігає ваші активні нотатки та вкладки однаковими на смартфонах, планшетах і ПК у реальному часі.

Сховище на базі IndexedDB

Робочий простір зберігається в асинхронній базі IndexedDB. Підтримує великі документи та безліч вкладок без зависань.

Шифрування з нульовим розголошенням

Діліться нотатками з 256-бітним шифруванням AES-GCM. Ключ розшифровки міститься в хеші URL (#key=...) і ніколи не передається на сервер.

Універсальний експорт у всі формати

Миттєвий експорт у .txt, .md, .json, .csv, .pdf з номерами сторінок, Word .docx, .html та QR-код без сервера.

Фонові обчислення у Web Worker

Підрахунок слів у реальному часі, пошук за regex, зміна регістру та сортування рядків виконуються у фоновому Web Worker зі швидкістю 60 FPS.

100% автономний PWA застосунок

Встановіть Outsmart Notes як PWA-застосунок на комп'ютер або смартфон. Пишіть та форматуйте нотатки в будь-якому місці без інтернету.

Інструмент SEO

Часті запитання: Створюйте та редагуйте файли robots.txt онлайн

Поширені запитання та відповіді щодо Створюйте та редагуйте файли robots.txt онлайн, синтаксису та конфіденційності.

Файл robots.txt потрібно розмістити в кореневій частині домену вашого веб-сайту (наприклад, https://example.com/robots.txt). Роботи пошукових систем не шукатимуть його в підкаталогах.

Ні. Disallow не дозволяє Googlebot сканувати сторінку, але якщо інші веб-сайти посилаються на неї, Google може відображати URL-адресу в результатах пошуку без фрагмента. Щоб суворо запобігти індексації, використовуйте ``.

так Ви можете додати `User-agent: GPTBot`, а потім `Disallow: /`, щоб запитати, щоб веб-скребок OpenAI пропускав ваш сайт.

Директива Sitemap завжди має використовувати повну абсолютну URL-адресу, включаючи https:// (наприклад, `Sitemap: https://example.com/sitemap.xml`).

так Outsmart Notes працює на 100% на стороні клієнта у вашому браузері. На наші сервери не надсилаються URL-адреси веб-сайтів або правила конфігурації.

Сейф Pro шифрує обрані нотатки локально в браузері за допомогою 256-бітного AES-GCM та PBKDF2 (100 000 ітерацій). Майстер-пароль ніколи не передається на сервери.

Пов'язуйте нотатки у стилі вікі, вводячи [[. Меню автодоповнення підкаже наявні нотатки. У перегляді посилання клікабельні, а панель Backlinks показує зв'язки.

Встановлюйте разові або регулярні нагадування. Використовуються системні веб-сповіщення браузера та звукові сигнали.

Натисніть / на порожньому рядку для виклику меню. Швидко вставляйте заголовки (H1–H6), списки завдань, блоки коду, цитати та роздільники.

Так! Натисніть Файл → Завантажити документ або перетягніть файл у редактор. Текст витягується в браузері без надсилання на сервер.

Натисніть на значок мікрофона. Використовується вбудований Web Speech API браузера для миттєвого перетворення голосу на текст із візуалізацією.

Дзен-режим (F10) приховує всі панелі інструментів для письма на весь екран. Режим друкарської машинки тримає поточний рядок по центру екрана.

Натисніть Ctrl+K (Cmd+K на Mac) для відкриття Spotlight. Шукайте нотатки за назвою, текстом, фільтруйте за #тегами та перемикайте вкладки.

Outsmart Notes автоматично зберігає знімки в базі IndexedDB. Натисніть Ctrl+H або виберіть Редагувати → Історія версій, щоб відновити будь-яку версію.

Браузер шифрує нотатку локально за допомогою Web Crypto API (AES-GCM 256 біт). Ключ міститься після знака # (#key=...) і ніколи не передається на сервер.

Outsmart Notes використовує IndexedDB як основний рушій зберігання. На відміну від localStorage, він асинхронний і вміщує великі обсяги тексту без зависань.

Введіть - [ ] Назва завдання або - [x] для завершення. Рядок стану автоматично рахує прогрес (наприклад, 2/4 завдань (50%)).

Вбудований клієнтський компілятор автоматично перетворює синтаксис Markdown на професійну типографіку при експорті в PDF та Word.

Так! Outsmart Notes — це прогресивний веб-застосунок (PWA). Натисніть Встановити або Додати на головний екран для автономної роботи.