Outil de référencement

Créer et modifier des fichiers robots.txt en ligne

Définissez des directives et des règles d'exploration pour Googlebot, Bingbot et les robots Web afin de gérer les budgets d'exploration SEO et de protéger les répertoires privés.

16px
1
0 mots 0 caractères 0 sans espaces 1 lignes 0 paragraphes
60:00 gratuit Lig 1, Col 1 Enregistré localement

Enregistrez ceci dans une note privée

Gratuit jusqu’à 5 notes, Pro est illimité.

Guide faisant autorité et référence de syntaxe

Guide approfondi : Créer et modifier des fichiers robots.txt en ligne

Tout ce que vous devez savoir sur les règles de formatage, les spécifications techniques et les meilleures pratiques.

1. Comment les robots des moteurs de recherche interprètent le fichier robots.txt (la norme d'exclusion des robots)

Un fichier robots.txt est un document standard en texte brut situé dans le répertoire racine d'un domaine (par exemple https://example.com/robots.txt) qui indique aux robots d'exploration Web automatisés et aux robots des moteurs de recherche (comme Googlebot et Bingbot) quelles parties d'un site Web ils sont autorisés ou interdits de demander. Régi par le Robots Exclusion Protocol (RFC 9309), il constitue le principal mécanisme de gestion du budget d'exploration pour l'optimisation des moteurs de recherche (SEO).

2. Répartition de la syntaxe des directives : agent utilisateur, autoriser, interdire et plan du site

Robots.txt fonctionne via un ensemble concis de directives standardisées :

  • User-agent : Spécifie à quel robot d'exploration Web les règles suivantes s'appliquent. User-agent : * cible tous les robots Web. Les agents spécifiques incluent Googlebot, Bingbot, Slurp et GPTBot.
  • Interdire : demande au robot d'exploration ciblé de ne demander aucune URL commençant par le chemin spécifié (par exemple, Disallow : /admin/).
  • Autoriser : remplace une règle générale d'interdiction pour un chemin enfant spécifique. (par exemple, Disallow : /media/ suivi de Autoriser : /media/public/).
  • Plan du site : Spécifie l'URL complète et absolue de votre plan de site XML (par exemple, Plan du site : https://example.com/sitemap.xml). Vous pouvez déclarer plusieurs lignes de plan de site.

3. Correspondance de modèles et caractères génériques dans robots.txt (* et $)

Les moteurs de recherche modernes prennent en charge la correspondance des caractères génériques dans les directives robots.txt :

  • Asterisk Wildcard (*) : Correspond à n'importe quelle séquence de caractères. Par exemple, Disallow : /*.pdf$ bloque toutes les URL se terminant par .pdf.
  • Ancre de fin d'URL ($) : Ancre la correspondance à la fin de la chaîne de l'URL. Par exemple, Disallow : /checkout$ bloque /checkout mais autorise /checkout/confirmation.
  • Blocage des paramètres de requête : Bloquez les URL de recherche interne en double avec Disallow : /*?s=*.

4. Pièges critiques du référencement : budget d'exploration vs prévention de l'indexation

Évitez ces idées fausses critiques lors de la création de votre fichier robots.txt :

  • robots.txt n'est PAS un coffre-fort secret : Ne répertoriez jamais les URL d'administrateur cachées sensibles dans robots.txt si la sécurité dépend de l'obscurité : le fichier est lisible publiquement par n'importe qui. Protégez plutôt les points de terminaison privés avec l'authentification du serveur.
  • Le refus d'une URL ne garantit PAS la désindexation : si des sites Web externes renvoient vers une URL non autorisée, Google peut toujours indexer l'URL sans explorer son contenu. Pour empêcher strictement l'indexation, laissez la page explorable et incluez dans l'en-tête HTML ou renvoyez un en-tête HTTP X-Robots-Tag: noindex.
  • Blocage accidentel de l'ensemble du site : Une ligne indiquant Disallow: / sous User-agent : * empêche complètement les moteurs de recherche d'explorer l'intégralité de votre site. site Web.

5. Guide étape par étape : génération et déploiement de robots.txt

  1. Personnalisez les règles du robot d'exploration et l'URL du plan du site dans l'éditeur ci-dessus.
  2. Appuyez sur Ctrl + S ou cliquez sur Fichier → Enregistrer le fichier pour télécharger votre propre fichier robots.txt.
  3. Téléchargez le fichier dans le répertoire racine public exact du domaine de votre site Web afin qu'il soit accessible sur https://votredomaine.com/robots.txt.
  4. Validez vos règles à l'aide du testeur Robots.txt de Google Search Console.
Plateforme haute performance

Conçu pour Outil de référencement

Conçu pour la vitesse, la confidentialité et la productivité. Zéro surcharge de DOM virtuel, persistance native IndexedDB, Web Workers, chiffrement à divulgation nulle et outils Pro puissants.

Démarrage à froid en moins d'une seconde

Conçu en JavaScript pur haute performance sans frameworks lourds. Se charge instantanément et est prêt pour la frappe en moins d'une seconde à 60 FPS.

Commandes slash style Notion

Tapez / sur une nouvelle ligne pour ouvrir un menu rapide. Insérez facilement titres, listes de tâches, puces, blocs de code, tableaux et encadrés.

Saisie vocale et reconnaissance vocale

Dictez de longues notes et vos idées les mains libres grâce à la reconnaissance vocale en temps réel avec visualisation audio et transcription instantanée.

Importateur PDF, Word et documents

Téléversez et extrayez le texte côté client depuis des fichiers PDF (via PDF.js), Word (.docx), Markdown, TXT, JSON, CSV, YAML et code sans aucun envoi vers des serveurs.

Listes de contrôle et tâches interactives

Créez des to-do lists dynamiques avec la syntaxe Markdown - [ ]. Cochez les cases dans l'éditeur et l'aperçu, avec suivi du pourcentage d'avancement en bas.

Focus Zen et défilement machine à écrire

Plongez dans une écriture sans distraction (F10). Le défilement machine à écrire maintient votre ligne active centrée sur l'écran.

Sélecteur rapide Spotlight (Ctrl+K)

Naviguez entre vos notes, recherchez du texte dans tout l'espace, appliquez des formats et filtrez les tags depuis une palette de commandes au clavier.

Historique des versions et instantanés

Ne perdez plus jamais votre travail. Des points de restauration automatiques enregistrés dans IndexedDB vous permettent de comparer les révisions et de restaurer en un clic (Ctrl+H).

Organisation et filtres par hashtags

Étiquetez vos notes avec des #tags n'importe où dans le texte. Cliquez sur les tags ou utilisez le filtre pour regrouper instantanément vos projets et recherches.

PRO

Coffre-fort protégé par mot de passe

Sécurisez vos notes confidentielles, mots de passe et journaux avec un chiffrement AES-GCM 256 bits de niveau militaire côté client, déverrouillé par votre clé maîtresse.

PRO

Liens Wiki et rétroliens bidirectionnels

Reliez vos idées grâce aux liens Wiki bidirectionnels ([[Titre]]), à l'autocomplétion flottante et aux rétroliens automatiques pour votre gestion de connaissances.

PRO

Rappels de notes intelligents

Planifiez des échéances et alertes sur n'importe quelle note. Recevez des notifications push du navigateur, des carillons sonores et des rappels récurrents.

Synchronisation cloud multi-appareils

La synchronisation en arrière-plan maintient vos notes actives et onglets identiques sur téléphones, tablettes et ordinateurs en temps réel.

Stockage natif IndexedDB

Votre espace de travail est stocké localement dans l'IndexedDB asynchrone du navigateur. Prend en charge des notes volumineuses sans bloquer l'interface.

Chiffrement à connaissance nulle

Partagez des notes avec un chiffrement AES-GCM 256 bits. La clé réside exclusivement dans le hash d'URL (#key=...) et n'est jamais envoyée au serveur.

Exportation multi-formats universelle

Exportation instantanée sans serveur vers .txt, .md, .json, .csv, .pdf paginé, Word .docx, .html et QR Code.

Web Worker hors thread principal

Le comptage de mots en direct, la recherche regex, les conversions de casse et le tri de lignes s'exécutent dans un Web Worker dédié à 60 FPS.

PWA 100% hors ligne

Installez Outsmart Notes sous forme d'application PWA sur bureau ou mobile. Écrivez, formatez et organisez vos notes partout sans connexion.

Outil de référencement

Foire aux questions: Créer et modifier des fichiers robots.txt en ligne

Questions et réponses courantes concernant Créer et modifier des fichiers robots.txt en ligne, la syntaxe et la confidentialité.

Le fichier robots.txt doit être placé à la racine exacte du domaine de votre site Web (par exemple https://example.com/robots.txt). Les robots des moteurs de recherche ne le rechercheront pas dans les sous-répertoires.

Non. L'interdiction empêche Googlebot d'explorer la page, mais si d'autres sites Web y renvoient, Google peut toujours afficher l'URL dans les résultats de recherche sans extrait de code. Pour empêcher strictement l'indexation, utilisez ``.

Oui. Vous pouvez ajouter « User-agent : GPTBot » suivi de « Disallow : / » pour demander au web scraper d'OpenAI d'ignorer votre site.

La directive Sitemap doit toujours utiliser une URL complète et absolue incluant https:// (par exemple `Sitemap : https://example.com/sitemap.xml`).

Oui. Outsmart Notes fonctionne à 100 % côté client dans votre navigateur. Aucune URL de site Web ou règle de configuration n'est envoyée à nos serveurs.

Le coffre Pro chiffre vos notes privées localement dans votre navigateur en utilisant AES-GCM 256 bits et PBKDF2 avec 100 000 itérations. Le mot de passe ne quitte jamais votre appareil et n'est jamais envoyé sur nos serveurs. Une fois verrouillé, vos notes sont illisibles sans votre mot de passe.

Connectez vos notes en tapant [[ n'importe où. Un menu d'autocomplétion suggère vos notes existantes. Dans l'aperçu Markdown, ces liens deviennent cliquables pour naviguer facilement. Le panneau Rétroliens liste toutes les notes pointant vers la note active.

Vous pouvez planifier des rappels uniques ou récurrents (quotidiens, hebdomadaires, mensuels). Outsmart Notes utilise l'API Web Notifications pour déclencher des alertes de bureau et des sons lorsque le rappel arrive à échéance.

Appuyez sur / sur une ligne vide pour ouvrir un menu interactif. Insérez rapidement titres (H1–H6), checklists, listes à puces, blocs de code avec coloration syntaxique, citations, dates et séparateurs.

Oui ! Cliquez sur Fichier → Téléverser ou glissez-déposez n'importe quel fichier. Outsmart Notes extrait le texte directement dans votre navigateur depuis les PDF (PDF.js), Word (.docx via Mammoth.js), Markdown, TXT, JSON, CSV et code sans aucun téléversement serveur.

Cliquez sur le micro dans la barre d'outils. Outsmart Notes utilise l'API Web Speech du navigateur pour transcrire votre voix instantanément avec une onde sonore en temps réel.

Le mode Zen (F10) élimine toutes les barres d'outils pour une expérience plein écran épurée. Le défilement machine à écrire garde la ligne active automatiquement centrée verticalement sur votre écran.

Appuyez sur Ctrl+K (ou Cmd+K) pour ouvrir Spotlight. Recherchez par titre, par contenu, filtrez par #tag, changez d'onglet et exécutez des commandes sans quitter le clavier.

Outsmart Notes enregistre automatiquement des révisions dans IndexedDB. Appuyez sur Ctrl+H ou Modifier → Historique pour prévisualiser les versions antérieures et restaurer en un clic.

Votre navigateur chiffre la note localement avec l'API Web Crypto (AES-GCM 256 bits). Seul le texte chiffré est enregistré. La clé de déchiffrement se trouve après le # (#key=...). Les serveurs ne recevant jamais les fragments d'URL, seuls vos destinataires peuvent la lire.

Outsmart Notes utilise IndexedDB comme moteur principal. Contrairement à localStorage qui est synchrone et limité, IndexedDB est asynchrone, gère de très gros documents et évite tout ralentissement.

Tapez - [ ] Nom de la tâche pour créer une tâche, ou - [x] pour la cocher. La barre d'état calcule le pourcentage d'avancement (ex: 2/4 tâches (50%)). Lors de l'export PDF ou Word (.docx), les cases sont converties en éléments graphiques vectoriels.

Outsmart Notes intègre un compilateur universel côté client. Les symboles Markdown (**gras**, *italique*, liens, code) sont traduits fidèlement en typographie professionnelle, hyperliens et boîtes vectorielles lors de l'export PDF et Word sans serveur.

Oui ! Outsmart Notes est une Progressive Web App (PWA). Dans Chrome, Edge, Safari ou mobile, cliquez sur Installer ou Ajouter à l'écran d'accueil pour l'utiliser comme une application autonome et hors ligne.