Herramienta SEO

Cree y edite archivos robots.txt en línea

Defina directivas y reglas de rastreo para Googlebot, Bingbot y arañas web para administrar los presupuestos de rastreo de SEO y proteger directorios privados.

16px
1
0 palabras 0 caracteres 0 sin espacios 1 líneas 0 párrafos
60:00 gratis Lín 1, Col 1 Guardado localmente

Guarda esto en una nota privada

Gratis hasta 5 notas, Pro es ilimitado.

Guía autorizada y referencia de sintaxis

Guía detallada: Cree y edite archivos robots.txt en línea

Todo lo que necesitas saber sobre reglas de formato, especificaciones técnicas, buenas prácticas y flujos de trabajo.

1. Cómo interpretan las arañas de los motores de búsqueda el archivo robots.txt (el estándar de exclusión de robots)

Un archivo robots.txt es un documento de texto plano estándar ubicado en el directorio raíz de un dominio (por ejemplo, https://example.com/robots.txt) que indica a los rastreadores web automatizados y a los motores de búsqueda (como Googlebot y Bingbot) qué partes de un sitio web tienen permitido o prohibido solicitar. Regido por el Protocolo de exclusión de robots (RFC 9309), sirve como principal mecanismo de gestión del presupuesto de rastreo para la optimización de motores de búsqueda (SEO).

2. Desglose de la sintaxis de la directiva: agente de usuario, permitir, no permitir y mapa del sitio

Robots.txt opera a través de un conjunto conciso de directivas estandarizadas:

  • Agente de usuario: Especifica a qué rastreador web se aplican las siguientes reglas. User-agent: * apunta a todas las arañas web. Los agentes específicos incluyen Googlebot, Bingbot, Slurp y GPTBot.
  • Disallow: indica al rastreador objetivo que no solicite ninguna URL que comience con la ruta especificada (p. ej., Disallow: /admin/).
  • Allow: anula una regla amplia de No permitir para un niño específico. ruta (por ejemplo, Disallow: /media/ seguido de Allow: /media/public/).
  • Mapa del sitio: especifica la URL completa y absoluta de su mapa del sitio XML (por ejemplo, Mapa del sitio: https://example.com/sitemap.xml). Puedes declarar varias líneas del mapa del sitio.

3. Coincidencia de patrones y comodines en robots.txt (* y $)

Los motores de búsqueda modernos admiten la coincidencia de comodines en las directivas robots.txt:

  • Asterisco comodín (*): coincide con cualquier secuencia de caracteres. Por ejemplo, Disallow: /*.pdf$ bloquea todas las URL que terminan en .pdf.
  • Ancla de fin de URL ($): Ancla la coincidencia al final de la cadena de URL. Por ejemplo, Disallow: /checkout$ bloquea /checkout pero permite /checkout/confirmation.
  • Bloqueo de parámetros de consulta: bloquea URL duplicadas de búsqueda interna con Disallow: /*?s=*.

4. Errores críticos de SEO: presupuesto de rastreo versus prevención de indexación

Evite estos conceptos erróneos críticos al crear su archivo robots.txt:

  • robots.txt NO es una bóveda secreta: nunca incluya URL de administrador ocultas y confidenciales en robots.txt si la seguridad depende de la oscuridad: cualquiera puede leer el archivo públicamente. En su lugar, proteja los puntos finales privados con autenticación de servidor.
  • No permitir una URL NO garantiza la desindexación: si sitios web externos enlazan a una URL no permitida, Google aún puede indexar la URL sin rastrear su contenido. Para evitar estrictamente la indexación, deje la página rastreable e incluya en el encabezado HTML o devuelva un encabezado HTTP X-Robots-Tag: noindex.
  • Bloqueo accidental de sitio completo: Una línea que dice Disallow: / en User-agent: * bloquea completamente el rastreo de los motores de búsqueda. todo su sitio web.

5. Guía paso a paso: generación e implementación de robots.txt

  1. Personalice las reglas del rastreador y la URL del mapa del sitio en el editor de arriba.
  2. Presione Ctrl + S o haga clic en Archivo → Guardar archivo para descargar su archivo limpio robots.txt.
  3. Suba el archivo al directorio raíz público exacto del dominio de su sitio web para que sea accesible en https://tudominio.com/robots.txt.
  4. Valida tus reglas usando el Probador de Robots.txt de Google Search Console.
Plataforma de alto rendimiento

Diseñado para Herramienta SEO

Diseñado para velocidad, privacidad y productividad. Sin sobrecarga de DOM virtual, persistencia nativa en IndexedDB, subprocesos Web Worker, cifrado de conocimiento cero y herramientas Pro de gestión de conocimiento personal.

Arranque en frío en menos de un segundo

Creado con JavaScript puro de alto rendimiento sin sobrecarga de frameworks pesados. Carga al instante y está listo para escribir en menos de 1 segundo con respuesta fluida a 60 FPS.

Comandos de barra inclinada estilo Notion

Escribe / en cualquier línea nueva para activar un menú interactivo. Inserta encabezados, listas de tareas, viñetas, bloques de código, tablas y llamadas destacadas.

Dictado por voz y voz a texto

Dicta notas largas, lluvias de ideas y pensamientos con las manos libres mediante reconocimiento de voz en tiempo real con visualización de audio en vivo y transcripción instantánea.

Importador de PDF, Word y documentos

Sube y extrae texto del lado del cliente desde archivos PDF (mediante PDF.js), documentos de Word (.docx), Markdown, TXT, JSON, CSV, YAML y código sin subir nada a servidores.

Listas de tareas interactivas

Crea listas de pendientes dinámicas con sintaxis Markdown - [ ]. Haz clic en las casillas para marcar tareas tanto en el editor como en la vista previa, con estadísticas en tiempo real en la barra de estado.

Enfoque Zen y desplazamiento de máquina

Sumérgete en una escritura libre de distracciones (F10). El desplazamiento de máquina de escribir mantiene tu línea de escritura activa siempre centrada verticalmente en la pantalla.

Selector rápido Spotlight (Ctrl+K)

Salta entre notas, busca texto en todo tu espacio de trabajo, ejecuta comandos de formato y filtra etiquetas al instante desde una paleta de comandos rápida.

Historial de versiones e instantáneas

Nunca pierdas trabajo importante. Los puntos de control automáticos guardados en IndexedDB local te permiten ver revisiones pasadas, comparar diferencias y restaurar versiones con un clic (Ctrl+H).

Organización y filtros con hashtags

Etiqueta notas con #etiquetas en cualquier parte del texto. Haz clic en las etiquetas o usa el filtro de la biblioteca para agrupar investigaciones, proyectos e ideas relacionadas.

PRO

Bóveda protegida por contraseña

Protege pensamientos confidenciales, credenciales y diarios con cifrado AES-GCM de 256 bits de nivel militar del lado del cliente. Se desbloquea con tu contraseña maestra.

PRO

Enlaces Wiki y retroenlaces (Backlinks)

Conecta tus ideas con enlaces bidireccionales estilo wiki ([[Título de nota]]), autocompletado flotante y referencias automáticas para tu base de conocimiento personal.

PRO

Recordatorios inteligentes de notas

Programa plazos y alertas en cualquier nota. Recibe notificaciones push en el navegador, sonidos agradables y recordatorios periódicos puntualmente.

Sincronización multidispositivo en la nube

La sincronización fluida en segundo plano mantiene tus notas activas y pestañas idénticas en teléfonos móviles, tabletas, portátiles y ordenadores de sobremesa en tiempo real.

Almacenamiento nativo en IndexedDB

Tu espacio de trabajo se almacena localmente en IndexedDB asíncrono del navegador. Admite notas gigantes y múltiples pestañas sin bloquear la interfaz ni perder datos.

Cifrado de conocimiento cero

Comparte notas con cifrado AES-GCM de 256 bits. La clave de descifrado reside únicamente en el hash de la URL (#key=...) y nunca se envía al servidor.

Exportación universal a múltiples formatos

Exportación instantánea sin servidor a .txt, .md, .json, .csv, .pdf con números de página, Word .docx, .html y código QR.

Subproceso Web Worker en segundo plano

El recuento de palabras en vivo, la búsqueda con regex, las transformaciones de mayúsculas y la ordenación de líneas se ejecutan en un Web Worker dedicado a 60 FPS.

PWA 100% sin conexión

Instala Outsmart Notes como una aplicación web progresiva de escritorio o móvil. Escribe, formatea y organiza notas en cualquier lugar sin conexión a internet.

Herramienta SEO

Preguntas frecuentes: Cree y edite archivos robots.txt en línea

Preguntas y respuestas comunes sobre Cree y edite archivos robots.txt en línea, sintaxis y privacidad.

El archivo robots.txt debe colocarse en la raíz exacta del dominio de su sitio web (por ejemplo, https://example.com/robots.txt). Los rastreadores de los motores de búsqueda no lo buscarán en subdirectorios.

No. Disallow evita que el robot de Google rastree la página, pero si otros sitios web enlazan con ella, es posible que Google aún muestre la URL en los resultados de búsqueda sin un fragmento. Para evitar estrictamente la indexación, utilice ``.

Sí. Puede agregar `User-agent: GPTBot` seguido de `Disallow: /` para solicitar que el web scraper de OpenAI omita su sitio.

La directiva Sitemap siempre debe utilizar una URL completa y absoluta que incluya https:// (por ejemplo, `Sitemap: https://example.com/sitemap.xml`).

Sí. Outsmart Notes opera 100% del lado del cliente en su navegador. No se envían URL de sitios web ni reglas de configuración a nuestros servidores.

La Bóveda Pro cifra tus notas privadas seleccionadas localmente en tu navegador usando AES-GCM de 256 bits y PBKDF2 con 100.000 iteraciones. La contraseña maestra nunca sale de tu navegador y nunca se almacena en nuestros servidores. Cuando está bloqueada, incluso con acceso físico a tu equipo, nadie puede leer tus notas sin tu contraseña maestra.

Puedes interconectar tus notas escribiendo [[ en cualquier lugar. Un menú de autocompletado te sugerirá notas existentes o podrás crear un nuevo título. En la vista previa Markdown, estos enlaces son interactivos y permiten navegar por tu base de conocimiento. El panel de Backlinks lista automáticamente todas las notas que enlazan a la nota actual.

Puedes programar recordatorios únicos o recurrentes (diarios, semanales, mensuales) en cualquier nota. Outsmart Notes utiliza la API de notificaciones web del navegador para mostrar alertas y emitir tonos suaves a la hora fijada, con opciones para ver la nota, posponerla o marcarla como completada.

Presiona / en una línea vacía para abrir un menú emergente instantáneo. Usa las flechas del teclado o el ratón para insertar encabezados (H1–H6), listas de tareas, listas con viñetas o números, bloques de código con resaltado, citas, fechas, divisores y enlaces wiki.

¡Sí! Haz clic en Archivo → Subir / Importar documento o arrastra cualquier archivo directamente al editor. Outsmart Notes extrae el texto legible en tu navegador desde archivos PDF (con PDF.js), Word (.docx con Mammoth.js), Markdown, TXT, JSON, CSV y archivos de código sin enviar nada a servidores externos.

Haz clic en el icono del micrófono en la barra de herramientas para iniciar el dictado por voz. Outsmart Notes usa la API Web Speech del navegador para transcribir tus palabras a texto sobre la marcha, con un indicador visual de onda sonora en vivo.

El Modo Zen (pulsa F10 o haz clic en Modo Zen) oculta barras de herramientas y menús para ofrecer una experiencia de escritura limpia a pantalla completa. Cuando activas el desplazamiento de máquina de escribir, la línea en la que estás escribiendo permanece centrada en la pantalla de forma automática.

Pulsa Ctrl+K (o Cmd+K en macOS) para abrir el buscador Spotlight. Puedes buscar notas por título, contenido, filtrar por #etiqueta, cambiar de pestaña activa y ejecutar comandos del editor sin apartar las manos del teclado.

Outsmart Notes guarda revisiones de tus notas en IndexedDB local. Pulsa Ctrl+H o selecciona Editar → Historial de versiones para revisar versiones anteriores, comparar diferencias y restaurar cualquier versión con un solo clic.

Al generar un enlace para compartir, tu navegador cifra la nota localmente con la Web Crypto API (AES-GCM de 256 bits). Solo el texto cifrado se guarda temporalmente en la base de datos. La clave de descifrado viaja tras el símbolo # (por ej. #key=...). Como los navegadores nunca envían los hashes de la URL a los servidores, solo quienes reciban tu enlace completo podrán descifrar la nota.

Outsmart Notes utiliza IndexedDB como motor principal de almacenamiento. A diferencia del almacenamiento síncrono de localStorage, IndexedDB es completamente asíncrono, soporta documentos de varios megabytes y evita congelaciones en la interfaz de usuario mientras escribes.

Escribe - [ ] Nombre de tarea para crear un elemento interactivo, o - [x] para marcarlo como completado. La barra de estado monitoriza el progreso en tiempo real (ej. 2/4 tareas (50%)). Al exportar a PDF o Word (.docx), las casillas se representan como elegantes vectores gráficos tipográficos.

Outsmart Notes integra un compilador universal de documentos en el navegador. Las etiquetas Markdown como **negrita**, *cursiva*, `código`, ~~tachado~~, enlaces y casillas se interpretan en estilos tipográficos limpios, hipervínculos interactivos y cajas de código al exportar a PDF, Microsoft Word (.docx) y HTML sin pasar por ningún servidor.

¡Sí! Outsmart Notes es una Aplicación Web Progresiva (PWA). En Chrome, Edge, Safari o navegadores móviles, haz clic en el icono Instalar o Añadir a la pantalla de inicio para instalarla como una aplicación independiente y con soporte sin conexión.