Generatore online di robots.txt: come creare un file corretto in 5 minuti senza errori

In breve: per creare un file robots.txt online, apri il generatore robots.txt di PromoPilot, seleziona un preset (Personalizzato, Consenti tutto, Nega tutto, WordPress, Laravel o Next.js), inserisci i percorsi per "Non consentire" e "Consenti", inserisci l'indirizzo del sito web per la riga Sitemap e, facoltativamente, seleziona "Ritardo di scansione" o "Blocca i crawler AI". Il file completato apparirà sulla destra: puoi copiarlo o scaricarlo. È gratuito e non richiede registrazione.

Scrivo il file robots.txt per ogni nuovo sito web e so quanto sia facile commettere errori manualmente: uno spazio di troppo, una barra dimenticata, una regola al di fuori di un blocco. Il generatore di robots.txt elimina questo problema: devi pensare a cosa chiudere, non alla sintassi. Di seguito, spiegheremo come usarlo, cosa chiudere e dove salvare il file completato.

Che cosa fa il generatore robots.txt?

Il generatore è un modulo anziché un editor di testo. Si selezionano le impostazioni e lo strumento le assembla in un file valido, visualizzandolo in anteprima in tempo reale.

È importante comprendere la limitazione: il generatore crea un file, ma non ne controlla uno esistente. Se si dispone già di un file robots.txt e si desidera individuare eventuali errori, è necessario analizzare il file robots.txt stesso: l'articolo nella sezione successiva è dedicato a questo argomento.

Come creare un file robots.txt online?

1. Apri il generatore robots.txt.
2. Seleziona un preset per il tuo motore. Se il tuo motore non è presente nell'elenco, scegli "Personalizzato".
3. Inserisci l'indirizzo del sito web: https://example.com. Questo creerà una riga Sitemap.
4. Aggiungi percorsi non consentiti, uno per riga: /admin/, /tmp/, /search/.
5. Se necessario, aggiungi "Consenti eccezioni all'interno delle cartelle con restrizioni, come /uploads/images/.
6. Seleziona le caselle: Sitemap, Ritardo di scansione, blocca i crawler IA.
7. Copia o scarica il file e caricalo nella directory principale del sito.

Sul lato sinistro della pagina si trovano le impostazioni, mentre sul lato destro è presente un'anteprima in tempo reale del file con i pulsanti "Copia" e "Scarica robots.txt".

Il file deve trovarsi rigorosamente nella directory principale del dominio: https://example.com/robots.txt. I robot non lo troveranno nella cartella /blog/robots.txt o in un altro sottodominio: ogni sottodominio ha il proprio file robots.txt.

La posizione esatta in cui caricare il file scaricato dipende dalla piattaforma:

• Hosting standard: tramite il file manager del pannello o FTP nella cartella in cui si trova la pagina principale (spesso public_html o www).
• WordPress — se non esiste un file fisico, il motore fornisce un file robots.txt virtuale. Caricando il file nella directory principale, questo viene sostituito; in alternativa, è possibile utilizzare l'editor di file del plugin SEO.
• Next.js e altri framework: il file viene posizionato nella cartella public o generato dal codice del progetto in modo che non vada perso durante il successivo deployment.
• Strumenti per la creazione di siti web: il file viene solitamente modificato nelle impostazioni SEO anziché caricato manualmente.

Il file deve essere chiamato robots.txt in minuscolo e salvato con codifica UTF-8 come testo semplice. Dopo averlo scaricato, aprilo nel tuo browser: se vedi il testo, tutto è a posto.

Cosa dovrebbe e cosa non dovrebbe essere chiuso nel file robots.txt?

Il principio fondamentale: chiudi tutto ciò che non aggiunge valore alla ricerca e fa perdere tempo al robot. Non chiudere nulla che sia essenziale affinché il robot comprenda la pagina.

Solitamente chiuso:

• pannello di amministrazione e account personale: /admin/, /wp-admin/, /account/;
• carrello e pagamento: /cart/, /checkout/;
• ricerca interna: /search/, /?s=;
• Cartelle di servizio e temporanee: /tmp/, /cgi-bin/;
• Infinite combinazioni di filtri e opzioni di ordinamento: un'ottima funzionalità, a patto che siano presenti pagine dedicate per ciascun filtro.

Mai chiudere:

• CSS, JavaScript e immagini: senza di essi, Google non visualizzerà la pagina come la visualizzerebbe un essere umano;
• catalogo, blog, schede prodotto e landing page;
• Le pagine che si desidera rimuovere dall'indice: per farlo è necessario utilizzare noindex e il robot deve essere in grado di leggerlo.

Ecco il file che otterrai per un tipico negozio WordPress con WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

Per quanto riguarda le opzioni di blocco, Google non tiene conto del ritardo di scansione: abilitalo solo se il tuo server è soggetto a problemi causati da altri bot. Bloccare i crawler basati sull'IA è una decisione aziendale: se vuoi che ChatGPT, Gemini e Perplexity ti conoscano e ti raccomandino, non bloccare il loro accesso.

Un altro aspetto pratico riguarda la versione di prova del sito. Per la copia di staging, utilizzate il preset "Nega tutto", ma assicuratevi di sostituire il file al momento del lancio: un Disallow: / dimenticato è la causa più frequente di riduzione del traffico verso i nuovi siti.

Confronto: PromoPilot Generator e altri metodi per creare robot.txt

In conclusione: il generatore è il modo più rapido per ottenere un file valido senza conoscerne la sintassi. Il plugin e il codice del progetto sono utili quando il file deve essere modificato insieme al sito web.

Il generatore è uno degli 87 strumenti SEO gratuiti di PromoPilot. Dopo aver scaricato il file, controllalo con un analizzatore robots.txt e, per la riga della sitemap, usa il generatore sitemap.xml: entrambi sono descritti negli articoli adiacenti in questa sezione.

Limitazioni del generatore: cosa non può fare per te

Il generatore non conosce la struttura del tuo sito. Il preset WordPress chiuderà i percorsi di servizio tipici, ma non indovinerà che i filtri del tuo negozio si trovano in /filter/ e la ricerca interna in /find/. Dovrai inserire questi percorsi manualmente.

Non carica il file sul server né verifica che il file sia accessibile all'indirizzo /robots.txt con un codice di stato 200. Dopo il caricamento, apri l'indirizzo in un browser o elaboralo tramite un parser.

E non sostituisce noindex: se l'obiettivo è rimuovere pagine dai risultati di ricerca, robots.txt non è adatto. Infine, il file non protegge i tuoi dati: è pubblico e chiunque può leggere quali sezioni hai bloccato. I segreti sono protetti da una password.

Quando uno strumento gratuito non è sufficiente?

Generare un file richiede cinque minuti. Decidere cosa bloccare su un sito con migliaia di pagine è un lavoro enorme. Hai bisogno di uno specialista se:

• Il negozio ha centinaia di combinazioni di filtri, e alcune di esse generano traffico;
• Il sito è multilingue, su sottodomini o con cartelle separate per le diverse lingue;
• Dopo la modifica del file robots.txt, il traffico è diminuito e non è chiaro quale regola ne sia la causa;
• È necessario armonizzare robots.txt, meta tag, canonical e sitemap in un unico sistema.

Cosa posso fare per il tuo sito web?

Mi chiamo Valeriy Danyuk, sono uno sviluppatore e specialista SEO con 12 anni di esperienza e oltre 200 clienti. Un file robots.txt ben strutturato è parte integrante di ogni sito web che realizzo.

SEO e promozione

• Audit SEO completo: robots.txt, noindex, canonical e sitemap come un sistema unificato, non come un insieme di regole casuali.
• Un blog SEO basato sull'intelligenza artificiale che genera lead organici.
• Un sito web multilingue senza traduttore, dove robots.txt e sitemap devono tenere conto di tutte le lingue.

Siti web e negozi online

• Negozio online WooCommerce: oltre 40 modelli, €299 — con robots.txt per carrello, filtri e checkout.
• Un sito web su 1001site, dove la sitemap e l'indicizzazione vengono configurate automaticamente. In cosa si differenzia da un builder con abbonamento a pagamento? Analisi del sito web tramite Tilda vs. intelligenza artificiale.

CRM, contabilità e automazione

• Un sistema di contabilità mensile per un negozio online: un progetto per un'azienda della Repubblica Ceca.
• QuestFlow è una piattaforma SaaS Telegram con intelligenza artificiale.

Maggiori dettagli nel portfolio. Non sai cosa includere? Inviami l'indirizzo del tuo sito web su Telegram: ti suggerirò delle regole per la struttura.

Risultato

1. Il generatore online di robots.txt crea un file corretto in cinque minuti: preset, percorsi, sitemap, flag.
2. Chiudi il pannello di amministrazione, il cestino, la ricerca e le cartelle dei servizi; non chiudere CSS, JS, il catalogo o il blog.
3. Il file robots.txt non rimuove le pagine dall'indice: a questo serve l' noindex.
4. Una struttura complessa, filtri e lingue diverse sono motivi validi per affidare la configurazione a uno specialista o realizzare un sito su 1001site, dove l'indicizzazione è già configurata di fabbrica.

Crea subito il tuo file robots.txt utilizzando il generatore robots.txt gratuito e, se hai domande sulle regole, scrivimi su Telegram.

Fonti

• Pagina dello strumento Generatore robots.txt di PromoPilot: impostazioni, preset e domande sulla pagina.
• Google Search Central - Come creare e inviare un file Robots.txt.
• Documentazione Next.js - file di metadati dei robot.