Ferramenta SEO

Crie e edite arquivos robots.txt online

Defina diretivas e regras de rastreamento para Googlebot, Bingbot e web spiders para gerenciar orçamentos de rastreamento de SEO e proteger diretórios privados.

16px
1
0 palavras 0 caracteres 0 sem espaços 1 linhas 0 parágrafos
60:00 grátis Lin 1, Col 1 Salvo localmente

Salve isso em uma nota privada

Gratuito para até 5 notas, o Pro é ilimitado.

Guia oficial e referência de sintaxe

Guia detalhado: Crie e edite arquivos robots.txt online

Tudo o que precisa de saber sobre regras de formatação, especificações técnicas e melhores práticas.

1. Como os spiders dos mecanismos de pesquisa interpretam o robots.txt (o padrão de exclusão de robôs)

Um arquivo robots.txt é um documento de texto simples padrão localizado no diretório raiz de um domínio (por exemplo, https://example.com/robots.txt) que instrui rastreadores automatizados da web e spiders de mecanismos de pesquisa (como Googlebot e Bingbot) quais partes de um site eles podem ou não solicitar. Governado pelo Protocolo de Exclusão de Robôs (RFC 9309), ele serve como o principal mecanismo de gerenciamento de orçamento de rastreamento para otimização de mecanismos de pesquisa (SEO).

2. Análise da sintaxe da diretiva: agente do usuário, permitir, proibir e mapa do site

Robots.txt opera por meio de um conjunto conciso de diretivas padronizadas:

  • User-agent: especifica a qual rastreador da Web as regras a seguir se aplicam. User-agent: * tem como alvo todos os web spiders. Agentes específicos incluem Googlebot, Bingbot, Slurp e GPTBot.
  • Disallow: instrui o rastreador direcionado a não solicitar nenhum URL que comece com o caminho especificado (por exemplo, Disallow: /admin/).
  • Allow: substitui uma regra ampla de proibição para um filho específico. caminho (por exemplo, Disallow: /media/ seguido de Allow: /media/public/).
  • Sitemap: especifica o URL completo e absoluto do seu sitemap XML (por exemplo, Sitemap: https://example.com/sitemap.xml). Você pode declarar várias linhas do mapa do site.

3. Correspondência de padrões e curingas em robots.txt (* e $)

Os mecanismos de pesquisa modernos suportam a correspondência de caracteres curinga nas diretivas robots.txt:

  • Asterisk Wildcard (*): Corresponde a qualquer sequência de caracteres. Por exemplo, Disallow: /*.pdf$ bloqueia todos os URLs que terminam com .pdf.
  • Âncora de fim de URL ($): ancora a correspondência ao final da string do URL. Por exemplo, Disallow: /checkout$ bloqueia /checkout, mas permite /checkout/confirmation.
  • Bloqueio de parâmetros de consulta: bloqueia URLs duplicados de pesquisa interna com Disallow: /*?s=*.

4. Armadilhas críticas de SEO: orçamento de rastreamento versus prevenção de indexação

Evite estes equívocos críticos ao criar seu arquivo robots.txt:

  • robots.txt NÃO é um cofre secreto: Nunca liste URLs de administrador ocultos confidenciais em robots.txt se a segurança depender da obscuridade — o arquivo pode ser lido publicamente por qualquer pessoa. Em vez disso, proteja os pontos de extremidade privados com autenticação de servidor.
  • Proibir um URL NÃO garante a desindexação: se sites externos vincularem a um URL não permitido, o Google ainda poderá indexar o URL sem rastrear seu conteúdo. Para evitar estritamente a indexação, deixe a página rastreável e inclua no cabeçalho HTML ou retorne um cabeçalho HTTP X-Robots-Tag: noindex.
  • Bloqueio acidental de site completo: Uma linha que diz Disallow: / em User-agent: * impede completamente que os mecanismos de pesquisa rastreiem todo o seu site. site.

5. Guia passo a passo: gerando e implantando robots.txt

  1. Personalize as regras do rastreador e o URL do mapa do site no editor acima.
  2. Pressione Ctrl + S ou clique em Arquivo → Salvar arquivo para baixar seu arquivo robots.txt limpo.
  3. Carregue o arquivo no diretório raiz público exato do domínio do seu site para que fique acessível em https://seudominio.com/robots.txt.
  4. Valide suas regras usando o testador Robots.txt do Google Search Console.
Plataforma de alto desempenho

Projetado para Ferramenta SEO

Desenvolvido para velocidade, privacidade e produtividade. Sem sobrecarga de DOM virtual, persistência nativa em IndexedDB, Web Workers, criptografia de conhecimento zero e ferramentas Pro.

Inicialização a frio em menos de um segundo

Construído em JavaScript puro de alto desempenho sem frameworks pesados. Carrega instantaneamente e está pronto para digitar em menos de 1 segundo a 60 FPS.

Comandos de barra estilo Notion

Digite / em qualquer linha nova para abrir um menu rápido. Insira facilmente títulos, listas de tarefas, marcadores, blocos de código e tabelas.

Digitação por voz e conversão em texto

Dite notas longas e ideias sem usar as mãos usando reconhecimento de voz em tempo real com visualização de áudio ao vivo e transcrição instantânea.

Importador de PDF, Word e documentos

Carregue e extraia texto no cliente de PDFs (via PDF.js), Word (.docx), Markdown, TXT, JSON, CSV, YAML e código sem enviar nada ao servidor.

Listas de tarefas interativas

Crie listas de afazeres dinâmicas com sintaxe Markdown - [ ]. Clique nas caixas no editor e na visualização, com estatísticas de progresso ao vivo na barra de status.

Foco Zen e rolagem de máquina de escrever

Mergulhe em uma escrita sem distrações (F10). A rolagem de máquina de escrever mantém sua linha ativa sempre centralizada na tela.

Alternador rápido Spotlight (Ctrl+K)

Alterne entre notas, pesquise texto em todo o espaço de trabalho, execute comandos e filtre tags instantaneamente pelo teclado.

Histórico de versões e instantâneos

Nunca perca trabalho importante. Pontos de restauração salvos no IndexedDB permitem comparar revisões anteriores e restaurar com um clique (Ctrl+H).

Organização e filtros com hashtags

Organize notas com #tags em qualquer lugar do texto. Clique nas tags ou use o filtro da gaveta para agrupar projetos e ideias relacionadas.

PRO

Cofre protegido por senha

Proteja pensamentos confidenciais, credenciais e diários com criptografia militar AES-GCM de 256 bits no cliente, desbloqueada com sua chave mestra.

PRO

Links Wiki e referências reversas (Backlinks)

Conecte suas ideias com links wiki bidirecionais ([[Título]]), preenchimento automático e referências automáticas de backlinks para sua gestão de conhecimento.

PRO

Lembretes inteligentes de notas

Agende prazos e alertas em qualquer nota. Receba notificações push no navegador, avisos sonoros e lembretes recorrentes na hora certa.

Sincronização em nuvem multidispositivo

A sincronização em segundo plano mantém suas notas ativas e abas idênticas em celulares, tablets e computadores em tempo real.

Armazenamento nativo em IndexedDB

Seu espaço de trabalho é armazenado localmente no IndexedDB assíncrono. Suporta notas gigantes e várias abas sem travar a interface.

Criptografia de conhecimento zero

Compartilhe notas com criptografia AES-GCM de 256 bits. A chave de descriptografia reside apenas no hash do URL (#key=...) e nunca chega ao servidor.

Exportação universal em vários formatos

Exportação instantânea sem servidor para .txt, .md, .json, .csv, .pdf com paginação, Word .docx, .html e QR Code.

Web Worker em thread secundária

Contagem de palavras, regex, conversões e ordenação são processados em um Web Worker em segundo plano a 60 FPS estáveis.

PWA 100% offline

Instale o Outsmart Notes como um Progressive Web App no desktop ou celular. Escreva e organize notas em qualquer lugar sem internet.

Ferramenta SEO

Perguntas frequentes: Crie e edite arquivos robots.txt online

Perguntas e respostas comuns sobre Crie e edite arquivos robots.txt online, sintaxe e privacidade.

O arquivo robots.txt deve ser colocado na raiz exata do domínio do seu site (por exemplo, https://example.com/robots.txt). Os rastreadores de mecanismos de pesquisa não o procurarão em subdiretórios.

Não. A opção Disallow impede que o Googlebot rastreie a página, mas se outros sites vincularem a ela, o Google ainda poderá exibir o URL nos resultados de pesquisa sem um snippet. Para evitar estritamente a indexação, use ``.

Sim. Você pode adicionar `User-agent: GPTBot` seguido de `Disallow: /` para solicitar que o web scraper da OpenAI ignore seu site.

A diretiva Sitemap deve sempre usar um URL completo e absoluto, incluindo https:// (por exemplo, `Sitemap: https://example.com/sitemap.xml`).

Sim. Outsmart Notes opera 100% do lado do cliente em seu navegador. Nenhum URL de site ou regra de configuração é enviado aos nossos servidores.

O Cofre Pro criptografa suas notas privadas localmente usando AES-GCM de 256 bits e PBKDF2 com 100.000 iterações. A senha mestra nunca sai do seu navegador nem é salva em servidores. Quando bloqueado, ninguém lê suas notas sem a senha.

Conecte suas notas no estilo wiki digitando [[. Um menu sugere notas existentes. Na pré-visualização, os links são clicáveis. O painel de Backlinks lista automaticamente todas as notas vinculadas.

Você pode agendar lembretes únicos ou recorrentes. O Outsmart Notes usa a API de Notificações Web para disparar alertas e sons quando chegar a hora.

Pressione / em qualquer linha em branco para abrir um menu pop-up. Insira títulos (H1–H6), checklists, blocos de código com destaque, citações e divisores.

Sim! Clique em Arquivo → Importar ou arraste qualquer arquivo para o editor. O texto é extraído localmente de PDFs, Word (.docx), Markdown, TXT, JSON, CSV e código sem envio a servidores.

Clique no ícone de microfone. O Outsmart Notes usa a API Web Speech do navegador para converter sua voz em texto em tempo real com indicador de onda sonoro.

O Modo Zen (F10) oculta todas as barras para uma experiência limpa em tela cheia. A rolagem de máquina mantém a linha atual centralizada na tela.

Pressione Ctrl+K (ou Cmd+K no Mac) para abrir o Spotlight. Pesquise notas por título, conteúdo, filtre por #tag e alterne abas sem tirar as mãos do teclado.

O Outsmart Notes salva automaticamente revisões no IndexedDB. Pressione Ctrl+H ou Editar → Histórico de versões para visualizar e restaurar versões anteriores.

Seu navegador criptografa a nota localmente via Web Crypto API (AES-GCM 256 bits). Apenas o texto criptografado é salvo. A chave fica após o símbolo # (#key=...). Navegadores nunca enviam hashes ao servidor.

O Outsmart Notes usa o IndexedDB como mecanismo principal. Ao contrário do localStorage síncrono, o IndexedDB é assíncrono, suporta documentos grandes e não trava a tela.

Digite - [ ] Nome da tarefa ou - [x] para concluída. A barra de status calcula o progresso em tempo real (ex.: 2/4 tarefas (50%)). Ao exportar para PDF ou Word, as caixas viram elementos gráficos.

O compilador universal no cliente interpreta símbolos Markdown (**negrito**, links, código) em tipografia estilizada e caixas vetoriais ao exportar para PDF e Word (.docx) sem servidores.

Sim! O Outsmart Notes é um Progressive Web App (PWA). Clique em Instalar ou Adicionar à tela inicial para usá-lo como app independente offline.