SEO-tool

Maak en bewerk robots.txt-bestanden online

Definieer crawlrichtlijnen en regels voor Googlebot, Bingbot en webspiders om SEO-crawlbudgetten te beheren en privémappen te beschermen.

16px
1
0 woorden 0 tekens 0 zonder spaties 1 regels 0 alinea's
60:00 gratis Rg 1, Kol 1 Lokaal opgeslagen

Bewaar dit in een privénotitie

Gratis voor maximaal 5 biljetten, Pro is onbeperkt.

Gezaghebbende gids & syntaxisreferentie

Diepgaande gids: Maak en bewerk robots.txt-bestanden online

Alles wat u moet weten over opmaakregels, technische specificaties en best practices.

1. Hoe spiders van zoekmachines robots.txt interpreteren (de Robots Exclusion Standard)

Een robots.txt-bestand is een standaard tekstdocument in de hoofdmap van een domein (bijvoorbeeld https://example.com/robots.txt) dat geautomatiseerde webcrawlers en spiders van zoekmachines (zoals Googlebot en Bingbot) instrueert welke delen van een website ze wel of niet mogen opvragen. Het valt onder het Robots Exclusion Protocol (RFC 9309) en dient als het primaire crawlbudgetbeheermechanisme voor zoekmachineoptimalisatie (SEO).

2. Uitsplitsing van de richtlijnsyntaxis: user-agent, toestaan, niet toestaan ​​en sitemap

Robots.txt werkt via een beknopte reeks gestandaardiseerde richtlijnen:

  • User-agent: specificeert op welke webcrawler de volgende regels van toepassing zijn. User-agent: * richt zich op alle webspiders. Specifieke agenten zijn onder meer Googlebot, Bingbot, Slurp en GPTBot.
  • Disallow: Instrueert de getargete crawler om geen URL op te vragen die begint met het opgegeven pad (bijvoorbeeld Disallow: /admin/).
  • Toestaan: overschrijft een brede Disallow-regel voor een specifiek onderliggend pad (bijvoorbeeld Disallow: /media/ gevolgd door Allow: /media/public/).
  • Sitemap: Specificeert de volledige, absolute URL van uw XML-sitemap (bijvoorbeeld Sitemap: https://example.com/sitemap.xml). U kunt meerdere sitemapregels declareren.

3. Patroonmatching en jokertekens in robots.txt (* en $)

Moderne zoekmachines ondersteunen het matchen van jokertekens in robots.txt-richtlijnen:

  • Asterisk Wildcard (*): Komt overeen met elke reeks tekens. Disallow: /*.pdf$ blokkeert bijvoorbeeld alle URL's die eindigen op .pdf.
  • End-of-URL-anker ($): Verankert de overeenkomst aan het einde van de URL-tekenreeks. Disallow: /checkout$ blokkeert bijvoorbeeld /checkout maar staat /checkout/confirmation toe.
  • Blokkeren van queryparameters: Blokkeer dubbele URL's voor interne zoekopdrachten met Disallow: /*?s=*.

4. Kritieke SEO-valkuilen: crawlbudget versus indexatiepreventie

Vermijd deze kritische misvattingen bij het maken van uw robots.txt-bestand:

  • robots.txt is GEEN geheime kluis: vermeld nooit gevoelige verborgen beheerders-URL's in robots.txt als de veiligheid afhankelijk is van onduidelijkheid: het bestand is voor iedereen openbaar leesbaar. Bescherm privé-eindpunten in plaats daarvan met serverauthenticatie.
  • Het niet toestaan ​​van een URL garandeert GEEN de-indexering: Als externe websites naar een niet-toegestane URL linken, kan Google de URL nog steeds indexeren zonder de inhoud ervan te crawlen. Om indexering strikt te voorkomen, laat u de pagina crawlbaar en neemt u op in de HTML-header of retourneert u een X-Robots-Tag: noindex HTTP-header.
  • Accidentele blokkering van de volledige site: een regellezing Disallow: / onder User-agent: * verhindert volledig dat zoekmachines uw volledige site crawlen website.

5. Stapsgewijze handleiding: robots.txt genereren en implementeren

  1. Pas de crawlerregels en de sitemap-URL aan in de bovenstaande editor.
  2. Druk op Ctrl + S of klik op Bestand → Bestand opslaan om uw schone robots.txt-bestand te downloaden.
  3. Upload het bestand naar de exacte openbare hoofdmap van uw websitedomein, zodat het toegankelijk is op https://uwdomein.com/robots.txt.
  4. Valideer uw regels met de Robots.txt Tester van Google Search Console.
Hoogwaardig platform

Ontworpen voor SEO-tool

Ontworpen voor snelheid, privacy en productiviteit. Geen virtuele DOM-vertraging, native IndexedDB-opslag, Web Workers, zero-knowledge versleuteling en krachtige Pro-tools.

Koude start binnen een seconde

Gebouwd met snelle vanilla JS zonder zware frameworks. Laadt direct en is binnen 1 seconde klaar om te typen met 60 FPS reactiesnelheid.

Slash-opdrachten in Notion-stijl (/)

Typ / op een nieuwe regel voor een interactief snelmenu. Voeg moeiteloos koppen, checklists, lijsten, codeblokken en tabellen in.

Spraakinvoer en spraak-naar-tekst

Dicteer lange notities en ideeën handsfree via spraakherkenning in realtime met live audiogolf en directe transcriptie.

PDF, Word & documenten importeren

Upload en extraheer tekst lokaal uit PDF's, Word-bestanden (.docx), Markdown, TXT, JSON, CSV en codebestanden zonder server-uploads.

Interactieve checklists & taken

Bouw to-do-lijsten met Markdown - [ ]. Vink taken af in zowel de editor als het voorbeeld, met live voortgang in de statusbalk.

Zen-focus & typemachine-scrollen

Schrijf zonder afleiding (F10). Typemachine-scrollen houdt de actieve regel altijd gecentreerd op uw scherm.

Spotlight-snelschakelaar (Ctrl+K)

Schakel tussen notities, doorzoek tekst, voer opdrachten uit en filter tags direct vanuit een opdrachtpalet.

Versiegeschiedenis & snapshots

Raak nooit werk kwijt. Automatische snapshots in IndexedDB laten u eerdere versies bekijken, verschillen vergelijken en met één klik herstellen (Ctrl+H).

Hashtag-organisatie & filters

Tag notities met #tags waar u maar wilt. Klik op tags of gebruik het filter om gerelateerde projecten en ideeën direct te groeperen.

PRO

Met wachtwoord beveiligde kluis

Beveilig vertrouwelijke gedachten en wachtwoorden met militaire 256-bits AES-GCM-versleuteling aan de clientzijde. Alleen te openen met uw hoofdsleutel.

PRO

Wiki-links & backlinks

Verbind uw ideeën met tweerichtings-wiki-links ([[Notitietitel]]), automatisch aanvullen en automatische backlinks voor kennisbeheer.

PRO

Slimme notitieherinneringen

Plan deadlines en meldingen voor elke notitie. Ontvang op tijd browser-pushmeldingen, zachte geluiden en terugkerende herinneringen.

Cloudsynchronisatie op meerdere apparaten

Achtergrondsynchronisatie houdt uw actieve notities en tabbladen realtime gelijk op smartphones, tablets en computers.

Native IndexedDB-opslag

Uw werkruimte wordt asynchroon opgeslagen in browser-IndexedDB. Ondersteunt enorme notities zonder de hoofdthread te blokkeren.

Zero-knowledge versleuteling

Deel notities met 256-bits AES-GCM. De decoderingssleutel staat uitsluitend in de URL-hash (#key=...) en wordt nooit naar de server gestuurd.

Universele multiformaat-export

Direct exporteren zonder server naar .txt, .md, .json, .csv, .pdf met paginanummers, Word .docx, .html en QR-code.

Off-thread Web Worker

Woordtellingen, regex-zoekopdrachten, kastransformaties en sorteren draaien vloeiend op 60 FPS in een afzonderlijke Web Worker.

100% offline PWA-app

Installeer Outsmart Notes als desktop- of mobiele PWA. Schrijf en beheer notities overal zonder internetverbinding.

SEO-tool

Veelgestelde vragen: Maak en bewerk robots.txt-bestanden online

Veelgestelde vragen en antwoorden over Maak en bewerk robots.txt-bestanden online, syntaxis en privacy.

Het robots.txt-bestand moet in de exacte hoofdmap van uw websitedomein worden geplaatst (bijvoorbeeld https://example.com/robots.txt). Crawlers van zoekmachines zoeken er niet naar in submappen.

Nee. Disallow voorkomt dat Googlebot de pagina crawlt, maar als andere websites ernaar linken, kan Google de URL nog steeds zonder fragment weergeven in de zoekresultaten. Om indexatie strikt te voorkomen, gebruikt u ``.

Ja. U kunt `User-agent: GPTBot` toevoegen, gevolgd door `Disallow: /` om te verzoeken dat de webschraper van OpenAI uw site overslaat.

De sitemaprichtlijn moet altijd een volledige, absolute URL gebruiken, inclusief https:// (bijvoorbeeld 'Sitemap: https://example.com/sitemap.xml').

Ja. Outsmart Notes werkt 100% client-side in uw browser. Er worden geen website-URL's of configuratieregels naar onze servers verzonden.

De Pro-kluis versleutelt uw notities lokaal in uw browser met 256-bits AES-GCM en PBKDF2 met 100.000 iteraties. Het hoofdwachtwoord verlaat uw browser nooit.

Verbind uw notities in wiki-stijl door [[ te typen. In het Markdown-voorbeeld zijn deze links klikbaar en het Backlinks-paneel toont alle verwijzingen.

U kunt eenmalige of terugkerende herinneringen instellen. Outsmart Notes gebruikt de Web Notifications API voor tijdige bureaubladmeldingen en geluiden.

Druk op / op een lege regel voor een pop-upmenu. Voeg snel koppen (H1–H6), checklists, codeblokken, citaten en scheidingslijnen in.

Ja! Klik op Bestand → Document importeren of sleep een bestand in de editor. Tekst wordt direct in de browser geëxtraheerd zonder server-uploads.

Klik op het microfoonpictogram. Outsmart Notes gebruikt de Web Speech API om uw stem direct om te zetten in tekst met een live audiogolf.

Zen-modus (F10) verwijdert werkbalken voor een schermvullende schrijfervaring. Typemachine-scrollen houdt de actieve regel altijd verticaal gecentreerd.

Druk op Ctrl+K (Cmd+K) om Spotlight te openen. Zoek op titel, inhoud, filter op #tags en wissel van tabblad zonder uw handen van het toetsenbord te halen.

Outsmart Notes slaat automatisch revisies op in IndexedDB. Druk op Ctrl+H of kies Bewerken → Versiegeschiedenis om eerdere versies met één klik te herstellen.

Uw browser versleutelt de notitie lokaal met Web Crypto API (AES-GCM 256-bit). De sleutel staat achter het #-teken (#key=...). Browsers sturen URL-hashes nooit naar servers.

Outsmart Notes gebruikt IndexedDB als primaire opslag. In tegenstelling tot localStorage is IndexedDB asynchroon en ondersteunt het grote documenten.

Typ - [ ] Taaknaam voor een taakitem of - [x] om af te vinken. De statusbalk berekent live de voortgang (bijv. 2/4 taken (50%)).

Een universele compiler aan de clientzijde zet Markdown-symbolen automatisch om in professionele typografie en hyperlinks bij export naar PDF en Word.

Ja! Outsmart Notes is een PWA. Klik in Chrome, Edge, Safari of op mobiel op Installeren of Toevoegen aan startscherm voor offline gebruik.