SEO-инструмент

Создавайте и редактируйте файлы robots.txt онлайн

Определите директивы и правила сканирования для роботов Googlebot, Bingbot и веб-пауков, чтобы управлять бюджетами сканирования SEO и защищать частные каталоги.

16px
1
0 слова 0 символов 0 без пробелов 1 строк 0 абзацев
60:00 бесплатно Стр 1, Кол 1 Сохранено локально

Сохраните это в приватной заметке

Бесплатно до 5 заметок, Pro без ограничений.

Авторитетное руководство и справочник синтаксиса

Подробное руководство: Создавайте и редактируйте файлы robots.txt онлайн

Все, что вам нужно знать о правилах форматирования, технических спецификациях и рекомендациях.

1. Как пауки поисковых систем интерпретируют файл robots.txt (Стандарт исключения роботов)

Файл robots.txt – это стандартный текстовый документ, расположенный в корневом каталоге домена (например, https://example.com/robots.txt), который указывает автоматическим веб-сканерам и роботам поисковых систем (например, Googlebot и Bingbot), какие части веб-сайта им разрешено или запрещено запрашивать. Управляемый Протоколом исключения роботов (RFC 9309), он служит основным механизмом управления бюджетом сканирования для поисковой оптимизации (SEO).

2. Разбивка синтаксиса директив: пользовательский агент, разрешение, запрет и карта сайта.

Robots.txt работает посредством краткого набора стандартизированных директив:

  • User-agent: Указывает, к какому веб-сканеру применяются следующие правила. User-agent: * нацелен на всех веб-пауков. К конкретным агентам относятся Googlebot, Bingbot, Slurp и GPTBot.
  • Запретить: предписывает целевому сканеру не запрашивать URL-адреса, начинающиеся с указанного пути (например, Disallow: /admin/).
  • Разрешить: переопределяет широкое правило запрета для определенного дочерний путь (например, Disallow: /media/, за которым следует Allow: /media/public/).
  • Sitemap: Указывает полный, абсолютный URL-адрес вашей XML-карты сайта (например, Sitemap: https://example.com/sitemap.xml). Вы можете объявить несколько строк карты сайта.

3. Сопоставление шаблонов и подстановочные знаки в robots.txt (* и $)

Современные поисковые системы поддерживают сопоставление с подстановочными знаками в директивах robots.txt:

  • Подстановочный знак Asterisk (*): Соответствует любой последовательности символов. Например, Disallow: /*.pdf$ блокирует все URL-адреса, заканчивающиеся на .pdf.
  • Привязка конца URL-адреса ($): Привязывает совпадение к концу строки URL-адреса. Например, Disallow: /checkout$ блокирует /checkout, но разрешает /checkout/confirmation.
  • Блокировка параметров запроса: Блокирует повторяющиеся URL-адреса внутреннего поиска с помощью Disallow: /*?s=*.

4. Критические ошибки SEO: бюджет сканирования или предотвращение индексации

Избегайте этих критических заблуждений при создании файла robots.txt:

  • robots.txt НЕ является секретным хранилищем: Никогда не указывайте конфиденциальные скрытые URL-адреса администратора в файле robots.txt, если безопасность зависит от неизвестности — файл доступен для публичного чтения кем угодно. Вместо этого защитите частные конечные точки с помощью аутентификации сервера.
  • Запрет URL-адреса НЕ гарантирует деиндексацию: Если внешние веб-сайты ссылаются на запрещенный URL-адрес, Google все равно может проиндексировать URL-адрес, не сканируя его содержимое. Чтобы строго предотвратить индексацию, оставьте страницу доступной для сканирования и включите в заголовок HTML или верните HTTP-заголовок X-Robots-Tag: noindex.
  • Случайная полная блокировка сайта: Строка Disallow: / под User-agent: * полностью блокирует поисковые системы сканирует весь ваш сайт.

5. Пошаговое руководство: создание и развертывание файла robots.txt

  1. Настройте правила сканирования и URL-адрес карты сайта в редакторе выше.
  2. Нажмите Ctrl + S или нажмите Файл → Сохранить файл, чтобы загрузить чистый файл robots.txt.
  3. Загрузите файл в точный общедоступный корневой каталог домена вашего веб-сайта, чтобы он был доступен по адресу https://yourdomain.com/robots.txt.
  4. Проверьте свои правила с помощью тестера Robots.txt консоли поиска Google.
Высокопроизводительная платформа

Создано для SEO-инструмент

Создан для скорости, приватности и продуктивности. Без нагрузки виртуального DOM, встроенное хранилище IndexedDB, Web Workers, сквозное шифрование и Pro-инструменты.

Запуск менее чем за секунду

Написан на чистом высокопроизводительном JS без тяжелых фреймворков. Загружается мгновенно и готов к вводу менее чем за 1 секунду со скоростью 60 кадров/с.

Команды через слэш (/) в стиле Notion

Введите / на новой строке для быстрого меню. Легко вставляйте заголовки, чек-листы задач, списки, блоки кода, таблицы и сноски.

Голосовой ввод и распознавание речи

Диктуйте объемные тексты и мысли без рук с помощью распознавания речи в реальном времени с живой визуализацией волны и быстрой транскрипцией.

Импорт PDF, Word и документов

Извлекайте текст прямо в браузере из файлов PDF (через PDF.js), документов Word (.docx), Markdown, TXT, JSON, CSV, YAML и кода без отправки на сервер.

Интерактивные чек-листы и задачи

Создавайте интерактивные списки дел с помощью синтаксиса - [ ]. Отмечайте задачи в редакторе и окне предпросмотра с живой статистикой в строке состояния.

Дзен-фокусировка и режим печатной машинки

Погрузитесь в процесс письма без отвлекающих факторов (F10). Режим печатной машинки удерживает текущую строку строго по центру экрана.

Быстрый переключатель Spotlight (Ctrl+K)

Мгновенно переключайтесь между заметками, ищите текст по всей рабочей области, форматируйте и фильтруйте теги с клавиатуры.

История версий и контрольные точки

Больше никаких потерь данных. Автоматические снимки в IndexedDB позволяют просматривать прошлые редакции, сравнивать изменения и откатываться в один клик (Ctrl+H).

Организация и фильтры по хештегам

Размечайте заметки тегами #тег прямо в тексте. Нажимайте на плашки тегов или используйте фильтр для быстрой группировки идей и проектов.

PRO

Защищенный паролем сейф

Защитите конфиденциальные мысли, пароли и личные дневники стойким 256-битным шифрованием AES-GCM. Разблокируется только вашим мастер-ключом.

PRO

Вики-ссылки и двусторонние связи

Связывайте мысли двусторонними wiki-ссылками ([[Название заметки]]) с автодополнением и панелью обратных ссылок для управления базой знаний.

PRO

Умные напоминания к заметкам

Устанавливайте сроки выполнения и напоминания. Получайте push-уведомления браузера, звуковые сигналы и повторяющиеся оповещения вовремя.

Синхронизация между устройствами

Фоновая синхронизация сохраняет ваши активные заметки и открытые вкладки одинаковыми на смартфонах, планшетах и компьютерах в реальном времени.

Хранилище на базе IndexedDB

Рабочее пространство сохраняется в асинхронной базе данных IndexedDB. Поддерживает объемные документы и множество вкладок без зависаний.

Шифрование с нулевым разглашением

Делитесь заметками с 256-битным шифрованием AES-GCM. Ключ расшифровки находится в хеше URL (#key=...) и никогда не передается на сервер.

Универсальный экспорт во все форматы

Мгновенный экспорт в .txt, .md, .json, .csv, .pdf с номерами страниц, Word .docx, .html и QR-код без обращения к серверу.

Фоновые вычисления в Web Worker

Подсчет слов в реальном времени, поиск по regex, смена регистра и сортировка строк выполняются в фоновом Web Worker со скоростью 60 FPS.

100% автономное PWA приложение

Установите Outsmart Notes как приложение PWA на компьютер или смартфон. Пишите и форматируйте заметки в любом месте без интернета.

SEO-инструмент

Часто задаваемые вопросы: Создавайте и редактируйте файлы robots.txt онлайн

Часто задаваемые вопросы и ответы о Создавайте и редактируйте файлы robots.txt онлайн, синтаксисе и конфиденциальности.

Файл robots.txt должен находиться в корне домена вашего веб-сайта (например, https://example.com/robots.txt). Сканеры поисковых систем не будут искать его в подкаталогах.

Нет. Disallow не позволяет роботу Googlebot сканировать страницу, но если на нее ссылаются другие веб-сайты, Google все равно может отображать URL-адрес в результатах поиска без фрагмента. Чтобы строго запретить индексацию, используйте ``.

Да. Вы можете добавить «User-agent: GPTBot», а затем «Disallow: /», чтобы запросить, чтобы веб-скребок OpenAI пропускал ваш сайт.

В директиве Sitemap всегда должен использоваться полный абсолютный URL-адрес, включая https:// (например, Sitemap: https://example.com/sitemap.xml).

Да. Outsmart Notes работает на 100% на стороне клиента вашего браузера. На наши серверы не передаются URL-адреса веб-сайтов или правила конфигурации.

Сейф Pro шифрует выбранные заметки локально в браузере с помощью 256-битного AES-GCM и PBKDF2 (100 000 итераций). Мастер-пароль никогда не передается на серверы. В заблокированном виде заметки невозможно прочесть без пароля.

Связывайте заметки в стиле вики, вводя [[. Меню автодополнения подскажет существующие заметки. В предпросмотре ссылки становятся кликабельными, а панель Backlinks показывает обратные связи.

Устанавливайте разовые или регулярные напоминания (ежедневно, еженедельно, ежемесячно). Используются системные веб-уведомления браузера и звуковые сигналы.

Нажмите / на пустой строке для вызова меню. Быстро вставляйте заголовки (H1–H6), списки задач, блоки кода с подсветкой синтаксиса, цитаты, разделители и wiki-ссылки.

Да! Нажмите Файл → Загрузить документ или перетащите файл прямо в редактор. Текст извлекается в браузере из PDF, Word (.docx), Markdown, TXT, JSON, CSV и кода без отправки на сервер.

Нажмите на значок микрофона. Outsmart Notes использует встроенный Web Speech API браузера для мгновенного перевода голоса в текст с индикатором аудиоволны.

Дзен-режим (F10) скрывает все панели инструментов для письма на весь экран. Режим печатной машинки держит текущую строку строго по центру экрана.

Нажмите Ctrl+K (Cmd+K на Mac) для открытия Spotlight. Ищите заметки по названию, тексту, фильтруйте по #тегу и переключайтесь между вкладками с клавиатуры.

Outsmart Notes автоматически сохраняет ревизии в локальной базе IndexedDB. Нажмите Ctrl+H или выберите Правка → История версий, чтобы сравнить отличия и восстановить версию.

Браузер шифрует заметку локально с помощью Web Crypto API (AES-GCM 256 бит). На сервере сохраняется только шифротекст. Ключ содержится после знака # (#key=...). Браузеры никогда не отправляют хеш URL на сервер.

Outsmart Notes использует IndexedDB в качестве основного движка хранения. В отличие от localStorage, IndexedDB асинхронен, вмещает большие объемы текста и исключает зависания интерфейса.

Введите - [ ] Имя задачи для создания пункта или - [x] для завершения. Строка состояния автоматически считает прогресс (напр., 2/4 задач (50%)). При экспорте в PDF или Word чек-боксы рендерятся красивыми векторами.

Встроенный клиентский компилятор автоматически переводит синтаксис Markdown (**жирный**, ссылки, код) в профессиональную типографику и гиперссылки при экспорте в PDF и Word (.docx) без участия серверов.

Да! Outsmart Notes — это прогрессивное веб-приложение (PWA). В Chrome, Edge, Safari нажмите Установить или Добавить на главный экран для автономной работы.