Strumento SEO

Crea e modifica file robots.txt online

Definisci direttive e regole di scansione per Googlebot, Bingbot e web spider per gestire i budget di scansione SEO e proteggere le directory private.

16px
1
0 parole 0 caratteri 0 senza spazi 1 righe 0 paragrafi
60:00 gratis Riga 1, Col 1 Salvato localmente

Salvalo in una nota privata

Gratuito fino a 5 banconote, Pro è illimitato.

Guida autorevole e riferimento della sintassi

Guida approfondita: Crea e modifica file robots.txt online

Tutto ciò che devi sapere sulle regole di formattazione, specifiche tecniche e best practice.

1. Come gli spider dei motori di ricerca interpretano robots.txt (The Robots Exclusion Standard)

Un file robots.txt è un documento standard di testo semplice situato nella directory principale di un dominio (ad esempio https://example.com/robots.txt) che indica ai web crawler automatizzati e agli spider dei motori di ricerca (come Googlebot e Bingbot) quali parti di un sito web possono o non possono richiedere. Governato dal Robots Exclusion Protocol (RFC 9309), funge da meccanismo principale di gestione del budget di scansione per l'ottimizzazione dei motori di ricerca (SEO).

2. Ripartizione della sintassi della direttiva: User-agent, Consenti, Non consenti e Mappa del sito

Robots.txt funziona attraverso un insieme conciso di direttive standardizzate:

  • User-agent: specifica a quale web crawler si applicano le seguenti regole. User-agent: * prende di mira tutti gli spider web. Agenti specifici includono Googlebot, Bingbot, Slurp e GPTBot.
  • Disallow: indica al crawler di destinazione di non richiedere alcun URL che inizia con il percorso specificato (ad esempio Disallow: /admin/).
  • Consenti: sostituisce una regola Disallow generale per un bambino specifico percorso (ad esempio Disallow: /media/ seguito da Allow: /media/public/).
  • Sitemap: specifica l'URL completo e assoluto della tua Sitemap XML (ad esempio Sitemap: https://example.com/sitemap.xml). Puoi dichiarare più righe della mappa del sito.

3. Corrispondenza di modelli e caratteri jolly in robots.txt (* e $)

I motori di ricerca moderni supportano la corrispondenza dei caratteri jolly nelle direttive robots.txt:

  • Asterisk Wildcard (*): corrisponde a qualsiasi sequenza di caratteri. Ad esempio, Disallow: /*.pdf$ blocca tutti gli URL che terminano con .pdf.
  • Ancoraggio fine URL ($): ancora la corrispondenza alla fine della stringa URL. Ad esempio, Disallow: /checkout$ blocca /checkout ma consente /checkout/confirmation.
  • Blocco dei parametri di query: blocca gli URL duplicati della ricerca interna con Disallow: /*?s=*.

4. Insidie ​​critiche per la SEO: crawl budget e prevenzione dell'indicizzazione

Evita questi malintesi fondamentali quando crei il tuo file robots.txt:

  • robots.txt NON è un deposito segreto: non elencare mai URL di amministrazione nascosti sensibili in robots.txt se la sicurezza dipende dall'oscurità: il file è leggibile pubblicamente da chiunque. Proteggi invece gli endpoint privati ​​con l'autenticazione del server.
  • Non consentire un URL NON garantisce la deindicizzazione: se i siti web esterni si collegano a un URL non consentito, Google potrebbe comunque indicizzare l'URL senza scansionarne i contenuti. Per impedire rigorosamente l'indicizzazione, lascia la pagina sottoponibile a scansione e includi nell'intestazione HTML o restituisci un'intestazione HTTP X-Robots-Tag: noindex.
  • Blocco accidentale dell'intero sito: una riga che legge Disallow: / sotto User-agent: * blocca completamente i motori di ricerca dalla scansione dell'intero sito web.

5. Guida dettagliata: generazione e distribuzione del file robots.txt

  1. Personalizza le regole del crawler e l'URL della mappa del sito nell'editor in alto.
  2. Premi Ctrl + S o fai clic su File → Salva file per scaricare il tuo file robots.txt pulito.
  3. Carica il file nell'esatta directory principale pubblica del dominio del tuo sito web in modo che sia accessibile all'indirizzo https://tuodominio.com/robots.txt.
  4. Convalida le tue regole utilizzando Robots.txt Tester di Google Search Console.
Piattaforma ad alte prestazioni

Progettato per Strumento SEO

Progettato per velocità, privacy e produttività. Zero sovraccarico di DOM virtuale, persistenza nativa in IndexedDB, Web Worker, crittografia a conoscenza zero e strumenti Pro.

Avvio a freddo in meno di un secondo

Costruito con JavaScript puro ad alte prestazioni senza framework pesanti. Si carica all'istante ed è pronto per digitare in meno di 1 secondo a 60 FPS.

Comandi slash stile Notion

Digita / su una nuova riga per aprire un menu interattivo. Inserisci intestazioni, checklist, elenchi puntati, blocchi di codice e tabelle.

Digitazione vocale e sintesi vocale

Detta note lunghe e idee a mani libere con il riconoscimento vocale in tempo reale, visualizzazione audio live e trascrizione istantanea.

Importatore PDF, Word e documenti

Carica ed estrai testo lato client da file PDF (tramite PDF.js), documenti Word (.docx), Markdown, TXT, JSON, CSV, YAML e codice senza caricare nulla sui server.

Checklist e attività interattive

Crea to-do list dinamiche con sintassi Markdown - [ ]. Fai clic sulle caselle nell'editor e nell'anteprima, con statistiche di completamento nella barra di stato.

Focus Zen e scorrimento da macchina da scrivere

Immergiti nella scrittura senza distrazioni (F10). Lo scorrimento da macchina da scrivere mantiene la riga attiva sempre al centro dello schermo.

Commutatore rapido Spotlight (Ctrl+K)

Passa da una nota all'altra, cerca nel testo, esegui comandi di formattazione e filtra i tag con la tastiera tramite la palette comandi.

Cronologia versioni e snapshot

Non perdere mai il lavoro svolto. I punti di ripristino salvati in IndexedDB ti permettono di confrontare le revisioni e ripristinare con un solo clic (Ctrl+H).

Organizzazione e filtri con hashtag

Etichetta le note con #tag ovunque nel testo. Fai clic sui tag o usa il filtro per raggruppare istantaneamente ricerche, progetti e idee correlate.

PRO

Cassaforte protetta da password

Proteggi pensieri confidenziali, credenziali e diari con crittografia client-side AES-GCM a 256 bit di livello militare, sbloccabile con la tua chiave master.

PRO

Link Wiki e riferimenti incrociati (Backlink)

Collega i tuoi pensieri con link wiki bidirezionali ([[Titolo]]), completamento automatico e riferimenti backlink per la gestione della conoscenza.

PRO

Promemoria intelligenti per le note

Pianifica scadenze e avvisi su qualsiasi nota. Ricevi notifiche push del browser, suoni acustici e promemoria ricorrenti puntuali.

Sincronizzazione cloud multidispositivo

La sincronizzazione in background mantiene identiche le note attive e le schede su telefoni, tablet e computer in tempo reale.

Archiviazione nativa IndexedDB

Il tuo spazio di lavoro è archiviato localmente nell'IndexedDB asincrono del browser. Supporta note voluminose e schede multiple senza blocchi.

Crittografia a conoscenza zero

Condividi note con crittografia AES-GCM a 256 bit. La chiave risiede esclusivamente nell'hash dell'URL (#key=...) e non viene mai inviata al server.

Esportazione universale multiformato

Esportazione istantanea senza server in .txt, .md, .json, .csv, .pdf con numeri di pagina, Word .docx, .html e codice QR.

Web Worker fuori dal thread principale

Conteggio parole in tempo reale, regex, trasformazioni del testo e ordinamento delle righe vengono eseguiti in un Web Worker a 60 FPS.

PWA offline al 100%

Installa Outsmart Notes come Progressive Web App su desktop o dispositivo mobile. Scrivi e organizza note ovunque senza connessione a Internet.

Strumento SEO

Domande frequenti: Crea e modifica file robots.txt online

Domande e risposte frequenti su Crea e modifica file robots.txt online, sintassi e privacy.

Il file robots.txt deve essere posizionato alla radice esatta del dominio del tuo sito web (ad esempio https://example.com/robots.txt). I crawler dei motori di ricerca non lo cercheranno nelle sottodirectory.

No. Disallow impedisce a Googlebot di eseguire la scansione della pagina, ma se altri siti web si collegano ad essa, Google potrebbe comunque visualizzare l'URL nei risultati di ricerca senza uno snippet. Per impedire rigorosamente l'indicizzazione, utilizzare ``.

SÌ. Puoi aggiungere "User-agent: GPTBot" seguito da "Disallow: /" per richiedere che il web scraper di OpenAI ignori il tuo sito.

La direttiva Sitemap deve sempre utilizzare un URL completo e assoluto che includa https:// (ad esempio `Sitemap: https://example.com/sitemap.xml`).

SÌ. Outsmart Notes funziona al 100% lato client nel tuo browser. Nessun URL di siti Web o regole di configurazione vengono inviati ai nostri server.

La Cassaforte Pro crittografa le tue note private localmente nel browser usando AES-GCM a 256 bit e PBKDF2 con 100.000 iterazioni. La password principale non lascia mai il browser e non viene salvata sui server.

Collega le tue note in stile wiki digitando [[. Un menu suggerisce le note esistenti. Nell'anteprima Markdown i link sono cliccabili e il pannello Backlink elenca tutti i collegamenti in entrata.

Puoi pianificare promemoria singoli o ricorrenti. Outsmart Notes utilizza le notifiche del browser per attivare avvisi desktop e suoni con opzioni per posticipare o completare.

Premi / su una riga vuota per aprire un popup. Inserisci intestazioni (H1–H6), elenchi, blocchi di codice con evidenziazione della sintassi, citazioni e divisori.

Sì! Fai clic su File → Carica o trascina qualsiasi file nell'editor. Il testo viene estratto localmente da PDF, Word (.docx), Markdown, TXT, JSON, CSV e codice senza upload su server.

Fai clic sull'icona del microfono. Outsmart Notes utilizza l'API Web Speech del browser per convertire la tua voce in testo all'istante con un indicatore a onde sonore.

La modalità Zen (F10) nasconde tutte le barre per un'esperienza a schermo intero pulita. Lo scorrimento da macchina tiene la riga attiva centrata verticalmente.

Premi Ctrl+K (o Cmd+K su Mac) per aprire Spotlight. Cerca note per titolo, testo, filtra per #tag e cambia schede senza togliere le mani dalla tastiera.

Outsmart Notes salva automaticamente snapshot in IndexedDB. Premi Ctrl+H o Modifica → Cronologia versioni per visualizzare le versioni precedenti e ripristinare con un clic.

Il browser crittografa la nota localmente con Web Crypto API (AES-GCM a 256 bit). Viene salvato solo il testo cifrato. La chiave si trova dopo il simbolo # (#key=...). I browser non inviano mai l'hash al server.

Outsmart Notes utilizza IndexedDB come motore principale. A differenza del localStorage sincrono, IndexedDB è asincrono, supporta documenti di grandi dimensioni ed evita blocchi dell'interfaccia.

Digita - [ ] Nome attività o - [x] per completarla. La barra di stato calcola l'avanzamento in tempo reale (es. 2/4 attività (50%)). Durante l'esportazione in PDF o Word le caselle diventano vettori puliti.

Un compilatore universale lato client interpreta i simboli Markdown (**grassetto**, corsivo, link, codice) in stili tipografici puliti e collegamenti ipertestuali nell'export in PDF e Word (.docx).

Sì! Outsmart Notes è una Progressive Web App (PWA). In Chrome, Edge, Safari o mobile, fai clic su Installa o Aggiungi alla schermata iniziale per usarlo offline.