SEO-Tool

Erstellen und bearbeiten Sie robots.txt-Dateien online

Definieren Sie Crawling-Anweisungen und -Regeln für Googlebot, Bingbot und Web-Spider, um SEO-Crawling-Budgets zu verwalten und private Verzeichnisse zu schützen.

16px
1
0 Worte 0 Zeichen 0 ohne Leerzeichen 1 Zeilen 0 Absätze
60:00 kostenlos Zl 1, Sp 1 Lokal gespeichert

Speichern Sie dies in einer privaten Notiz

Kostenlos für bis zu 5 Notizen, Pro ist unbegrenzt.

Maßgeblicher Leitfaden & Syntax-Referenz

Ausführlicher Leitfaden: Erstellen und bearbeiten Sie robots.txt-Dateien online

Alles, was Sie über Formatierungsregeln, technische Spezifikationen und Best Practices wissen müssen.

1. Wie Suchmaschinen-Spider robots.txt interpretieren (The Robots Exclusion Standard)

Eine robots.txt-Datei ist ein standardmäßiges Klartextdokument im Stammverzeichnis einer Domain (z. B. https://example.com/robots.txt), das automatisierte Webcrawler und Suchmaschinen-Spider (wie Googlebot und Bingbot) anweist, welche Teile einer Website sie anfordern dürfen oder nicht. Es unterliegt dem Robots Exclusion Protocol (RFC 9309) und dient als primärer Crawl-Budget-Managementmechanismus für die Suchmaschinenoptimierung (SEO).

2. Aufschlüsselung der Syntax der Direktive: Benutzeragent, Zulassen, Verbieten und Sitemap

Robots.txt arbeitet mit einem prägnanten Satz standardisierter Anweisungen:

  • Benutzeragent: Gibt an, für welchen Webcrawler die folgenden Regeln gelten. User-agent: * zielt auf alle Web-Spider ab. Zu den spezifischen Agenten gehören Googlebot, Bingbot, Slurp und GPTBot.
  • Disallow: Weist den anvisierten Crawler an, keine URL anzufordern, die mit dem angegebenen Pfad beginnt (z. B. Disallow: /admin/).
  • Allow: Überschreibt eine umfassende Disallow-Regel für ein bestimmtes Kind Pfad (z. B. Disallow: /media/ gefolgt von Allow: /media/public/).
  • Sitemap: Gibt die vollständige, absolute URL Ihrer XML-Sitemap an (z. B. Sitemap: https://example.com/sitemap.xml). Sie können mehrere Sitemap-Zeilen deklarieren.

3. Mustervergleich und Platzhalter in robots.txt (* und $)

Moderne Suchmaschinen unterstützen den Wildcard-Abgleich in robots.txt-Anweisungen:

  • Sternchen-Wildcard (*): Entspricht jeder Zeichenfolge. Beispielsweise blockiert Disallow: /*.pdf$ alle URLs, die mit .pdf enden.
  • End-of-URL-Anker ($): Verankert die Übereinstimmung am Ende der URL-Zeichenfolge. Beispielsweise blockiert Disallow: /checkout$ /checkout, lässt aber /checkout/confirmation zu.
  • Blockierung von Abfrageparametern: Blockiert doppelte URLs bei der internen Suche mit Disallow: /*?s=*.

4. Kritische SEO-Fallstricke: Crawl-Budget vs. Indexierungsverhinderung

Vermeiden Sie diese kritischen Missverständnisse beim Erstellen Ihrer robots.txt-Datei:

  • robots.txt ist KEIN geheimer Tresor: Listen Sie niemals vertrauliche versteckte Admin-URLs in robots.txt auf, wenn die Sicherheit auf Unklarheit beruht – die Datei ist für jedermann öffentlich lesbar. Schützen Sie stattdessen private Endpunkte mit Serverauthentifizierung.
  • Das Nichtzulassen einer URL garantiert KEINE Deindexierung: Wenn externe Websites auf eine unzulässige URL verlinken, indiziert Google die URL möglicherweise trotzdem, ohne ihren Inhalt zu crawlen. Um eine Indexierung strikt zu verhindern, lassen Sie die Seite crawlbar und fügen Sie in den HTML-Header ein oder geben Sie einen X-Robots-Tag: noindex HTTP-Header zurück.
  • Versehentliche Blockierung der gesamten Website: Eine Zeile mit der Aufschrift Disallow: / unter User-agent: * blockiert vollständig das Crawlen Ihrer gesamten Website durch Suchmaschinen Website.

5. Schritt-für-Schritt-Anleitung: robots.txt generieren und bereitstellen

  1. Passen Sie die Crawler-Regeln und die Sitemap-URL im Editor oben an.
  2. Drücken Sie Strg + S oder klicken Sie auf Datei → Datei speichern, um Ihre saubere robots.txt-Datei herunterzuladen.
  3. Laden Sie die Datei genau in das öffentliche Stammverzeichnis Ihrer Website-Domain hoch, damit sie unter zugänglich ist https://yourdomain.com/robots.txt.
  4. Validieren Sie Ihre Regeln mit dem Robots.txt-Tester der Google Search Console.
Hochleistungs-Plattform

Entwickelt für SEO-Tool

Entwickelt für Geschwindigkeit, Datenschutz und Produktivität. Null Virtual-DOM-Overhead, native IndexedDB-Persistenz, Web Worker, Zero-Knowledge-Verschlüsselung und Pro-Tools.

Kaltstart unter einer Sekunde

Gebaut mit nativem Hochleistungs-JavaScript ohne aufgeblähte Frameworks. Lädt sofort und ist in unter 1 Sekunde mit 60 FPS schreibbereit.

Slash-Befehle im Notion-Stil

Tippen Sie / in einer neuen Zeile, um ein Schnellmenü aufzurufen. Fügen Sie mühelos Überschriften, Checklisten, Aufzählungen, Codeblöcke und Tabellen ein.

Spracheingabe & Speech-to-Text

Diktieren Sie lange Notizen und Gedanken freihändig mit Echtzeit-Spracherkennung inklusive Live-Audiowellenform und sofortiger Transkription.

PDF-, Word- & Dokument-Importer

Extrahieren Sie Text clientseitig aus PDF-Dateien (via PDF.js), Word-Dokumenten (.docx), Markdown, TXT, JSON, CSV, YAML und Code ohne Server-Upload.

Interaktive Checklisten & Aufgaben

Erstellen Sie To-Do-Listen mit Markdown - [ ]. Klicken Sie auf Checkboxen im Editor und in der Vorschau, mit Live-Fortschrittsanzeige in der Statusleiste.

Zen-Fokus & Schreibmaschinen-Scroll

Schreiben Sie absolut ablenkungsfrei (F10). Das zentrierte Schreibmaschinen-Scrollen hält die aktive Zeile stets in der Mitte des Bildschirms.

Spotlight-Schnellwechsler (Strg+K)

Wechseln Sie zwischen Notizen, durchsuchen Sie Texte, führen Sie Befehle aus und filtern Sie Tags direkt über eine Tastatur-Befehlspalette.

Versionsverlauf & Snapshots

Verlieren Sie nie wichtige Arbeit. Automatische Wiederherstellungspunkte in IndexedDB ermöglichen es, alte Revisionen einzusehen, Diffs zu prüfen und mit einem Klick zurückzusetzen (Strg+H).

Hashtag-Organisation & Filter

Verschlagworten Sie Notizen mit #tags direkt im Text. Klicken Sie auf Tags oder nutzen Sie den Filter, um verwandte Themen sofort zu gruppieren.

PRO

Passwortgeschützter Tresor

Sichern Sie vertrauliche Gedanken, Passwörter und Tagebücher mit 256-Bit-AES-GCM-Tresorverschlüsselung auf Militärniveau. Entsperrbar nur mit Ihrem Master-Passwort.

PRO

Wiki-Links & Backlinks

Verbinden Sie Ihre Gedanken mit bidirektionalen Wiki-Links ([[Notiztitel]]), Autovervollständigung und automatischen Backlinks für Ihr Wissensmanagement.

PRO

Intelligente Notiz-Erinnerungen

Planen Sie Fristen und Benachrichtigungen für jede Notiz. Erhalten Sie rechtzeitig Browser-Push-Benachrichtigungen, Töne und wiederkehrende Alarme.

Multi-Geräte Cloud-Synchronisierung

Nahtlose Cloud-Synchronisation im Hintergrund hält Notizen und Tabs auf Smartphones, Tablets und Laptops in Echtzeit identisch.

Nativer IndexedDB-Speicher

Ihr Arbeitsbereich wird lokal in asynchronem IndexedDB gespeichert. Unterstützt riesige Notizen und Multi-Tabs ohne Blockieren des Browsers.

Zero-Knowledge-Verschlüsselung

Teilen Sie Notizen mit 256-Bit-AES-GCM. Der Schlüssel befindet sich ausschließlich im URL-Hash (#key=...) und erreicht niemals den Server.

Universeller Multi-Format-Export

Sofortiger Export ohne Server nach .txt, .md, .json, .csv, .pdf mit Seitenzahlen, Word .docx, .html und QR-Code.

Web Worker im Hintergrund-Thread

Live-Wortzählung, Regex-Suchen/Ersetzen, Groß-/Kleinschreibung und Zeilensortierung laufen in einem Web Worker mit 60 FPS.

100% Offline-PWA

Installieren Sie Outsmart Notes als Desktop- oder Mobile-PWA. Schreiben und organisieren Sie Notizen überall auch ohne Internetverbindung.

SEO-Tool

Häufig gestellte Fragen: Erstellen und bearbeiten Sie robots.txt-Dateien online

Häufige Fragen und Antworten zu Erstellen und bearbeiten Sie robots.txt-Dateien online, Syntax und Datenschutz.

Die robots.txt-Datei muss genau im Stammverzeichnis Ihrer Website-Domain abgelegt werden (z. B. https://example.com/robots.txt). Suchmaschinen-Crawler suchen nicht in Unterverzeichnissen danach.

Nein. Disallow verhindert, dass der Googlebot die Seite crawlt. Wenn jedoch andere Websites darauf verlinken, zeigt Google die URL möglicherweise trotzdem ohne Snippet in den Suchergebnissen an. Um eine Indexierung strikt zu verhindern, verwenden Sie „`.

Ja. Sie können „User-agent: GPTBot“ gefolgt von „Disallow: /“ hinzufügen, um anzufordern, dass der Web Scraper von OpenAI Ihre Website überspringt.

Die Sitemap-Anweisung muss immer eine vollständige, absolute URL einschließlich https:// verwenden (z. B. „Sitemap: https://example.com/sitemap.xml“).

Ja. Outsmart Notes läuft zu 100 % clientseitig in Ihrem Browser. Es werden keine Website-URLs oder Konfigurationsregeln an unsere Server gesendet.

Der Pro-Tresor verschlüsselt Notizen lokal im Browser mit 256-Bit AES-GCM und PBKDF2 (100.000 Iterationen). Das Masterpasswort verlässt Ihren Browser nie und wird niemals auf unseren Servern gespeichert. Im gesperrten Zustand kann niemand ohne Ihr Passwort darauf zugreifen.

Verbinden Sie Ihre Notizen im Wiki-Stil mit [[. Ein Menü schlägt Notizen vor. In der Markdown-Vorschau sind diese Links anklickbar. Das Backlinks-Panel listet alle Notizen auf, die auf die aktuelle verweisen.

Sie können einmalige oder wiederkehrende Erinnerungen planen. Outsmart Notes nutzt die Web Notifications API für Desktop-Benachrichtigungen und Signaltöne mit Optionen zum Schlummern oder Erledigen.

Drücken Sie / in einer leeren Zeile für ein Popup-Menü. Fügen Sie Überschriften (H1–H6), Checklisten, Codeblöcke mit Syntax-Highlighting, Zitate und Trennlinien ein.

Ja! Klicken Sie auf Datei → Dokument importieren oder ziehen Sie Dateien per Drag & Drop in den Editor. Text wird direkt im Browser aus PDF, Word (.docx), Markdown, TXT, JSON, CSV und Code extrahiert.

Klicken Sie auf das Mikrofonsymbol. Outsmart Notes nutzt die Web Speech API des Browsers, um Sprache in Echtzeit inklusive Audiowellenanzeige in Text umzuwandeln.

Der Zen-Modus (F10) blendet alle Menüleisten für ein ablenkungsfreies Vollbildschreiben aus. Das Schreibmaschinen-Scrollen hält die aktuelle Eingabezeile vertikal zentriert.

Drücken Sie Strg+K (Cmd+K auf Mac), um den Spotlight-Wechsler zu öffnen. Suchen Sie nach Titeln, Texten, filtern Sie nach #tags und wechseln Sie Tabs rein über die Tastatur.

Outsmart Notes speichert automatisch Snapshots in IndexedDB. Drücken Sie Strg+H oder wählen Sie Bearbeiten → Versionsverlauf, um alte Versionen zu vergleichen und mit einem Klick wiederherzustellen.

Ihr Browser verschlüsselt die Notiz lokal mit der Web Crypto API (AES-GCM 256-Bit). Nur der verschlüsselte Text wird gespeichert. Der Schlüssel steht hinter dem #-Symbol (#key=...). Da Browser Hashes nie an Server übertragen, kann nur der Linkinhaber den Text entschlüsseln.

Outsmart Notes nutzt IndexedDB als primären Speicher. Anders als synchroner localStorage ist IndexedDB asynchron, unterstützt große Dokumente und verhindert UI-Verzögerungen.

Geben Sie - [ ] Aufgabenname ein oder - [x] für erledigt. Die Statusleiste zeigt den Fortschritt live an (z.B. 2/4 Aufgaben (50%)). Beim Export in PDF oder Word (.docx) werden saubere Vektor-Checkboxen gerendert.

Ein universeller clientseitiger Dokument-Compiler wandelt Markdown (**fett**, *kursiv*, Links, Codeblöcke) beim Export in PDF und Word (.docx) automatisch in formatierte Typografie und Hyperlinks um – ohne Serverübertragung.

Ja! Outsmart Notes ist eine Progressive Web App (PWA). Klicken Sie in Chrome, Edge, Safari oder auf dem Smartphone auf Installieren / Zum Startbildschirm hinzufügen.