Verifica del file robots.txt online: come trovare gli errori che impediscono ai motori di ricerca di indicizzare il tuo sito.

In breve: per controllare il file robots.txt online, inserisci il tuo dominio nello strumento di analisi robots.txt di PromoPilot e clicca su "Analizza". Lo strumento scaricherà automaticamente il file, analizzerà tutte le direttive (Allow, Disallow, Crawl-delay, Sitemap), visualizzerà i blocchi User-Agent e i robot a cui sono indirizzati, individuerà errori di sintassi e regole rischiose, verificherà la disponibilità degli URL critici e fornirà raccomandazioni. È gratuito e non richiede registrazione.

La riga più costosa che abbia mai trovato nel file robots.txt di qualcun altro era " Disallow: / ", un residuo dello sviluppo. Il sito era stato lanciato, la pubblicità era stata pagata, ma il traffico organico è rimasto a zero per tre settimane perché i robot erano stati bloccati e non potevano visitare nessuna pagina.

Cosa verifica l'analisi del file robots.txt?

Robots.txt è un breve file di testo nella directory principale di un sito web, ma è facile commettere errori: una barra in più può cambiare il significato di una regola. Lo strumento legge il file nello stesso modo in cui lo leggono i robot dei motori di ricerca.

Ecco un esempio di risultato tratto dalla descrizione dello strumento: "Sono state trovate 2 regole Disallow potenzialmente rischiose e 1 direttiva Sitemap mancante". Questi sono i tipi di risultati che meritano particolare attenzione.

Come controllare il file robots.txt online?

1. Apri lo strumento. L'analisi del file Robots.txt funziona nel browser.
2. Inserisci il dominio: https://example.com. Il file verrà scaricato automaticamente in /robots.txt.
3. Fai clic su "Analizza".
4. Esamina l'elenco delle direttive per i blocchi User-agent.
5. Analizzare gli errori e le regole rischiose: questo è l'aspetto principale del report.
6. Correggi il file sul server o nelle impostazioni del CMS ed esegui nuovamente il controllo.

Pagina dello strumento: campo indirizzo, pulsante "Analizza" e descrizione (cosa viene verificato, scenari e limitazioni).

Controlla il file robots.txt in due situazioni fondamentali: prima di lanciare una nuova versione del tuo sito e dopo qualsiasi migrazione. In questi casi, è più probabile che le restrizioni di test vengano trasferite alla versione di produzione. È utile anche controllare il file robots.txt dei tuoi concorrenti: le sezioni con restrizioni mostrano quali pagine considerano pagine di servizio e come è strutturata la loro directory.

Come interpretare il risultato e cosa correggere per prima cosa?

Passiamo da regole che riguardano l'intero sito a regole più specifiche, che si limitano all'aspetto estetico.

1. Disallow: / nel blocco User-agent: *. L'intero sito verrà chiuso. Se non si tratta di una versione di prova, rimuovere immediatamente questa riga.
2. Le sezioni importanti sono chiuse. Disallow: /catalog chiude non solo la directory, ma anche qualsiasi elemento che inizi con questi caratteri, come ad esempio /catalog-sale/. Le regole si basano sull'inizio del percorso e la distinzione tra maiuscole e minuscole è importante.
3. CSS, JS e immagini sono bloccati. Una regola come Disallow: /wp-content/ impedisce Google di visualizzare la pagina come farebbe un essere umano. Il crawler dovrebbe caricare stili e script.
4. Non è presente la riga della sitemap oppure porta a un errore 404. Si prega di fornire l'indirizzo completo della sitemap con il protocollo.
5. Sintassi. Errori di battitura nei nomi delle direttive, regole al di fuori del blocco User-Agent e righe vuote all'interno del blocco: i robot ignorano le righe non valide e la regola fallisce silenziosamente.
6. Direttive non supportate da Google. Google ignora Crawl-delay e Google non supporta Noindex in robots.txt. Se ti affidi a queste direttive, questa regola non si applica.

Ecco un esempio di file corretto per un sito WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Il pannello di amministrazione, la ricerca interna e le pagine di utilità del negozio sono chiusi, il gestore AJAX (senza il quale alcune parti del sito non funzionano) è abilitato e la sitemap è specificata. Tutto il resto è abilitato per impostazione predefinita.

Come si fa a sapere se un URL specifico è aperto se sono presenti più regole? Google applica la regola più specifica, ovvero quella con il percorso più lungo. Se un file contiene Disallow: /blog/ che Allow: /blog/seo/, allora la pagina /blog/seo/proverka/ è aperta e /blog/news/ è chiusa. Se i percorsi hanno la stessa lunghezza, prevale la regola Allow. L'asterisco * rappresenta una qualsiasi sequenza di caratteri e $ indica la fine dell'URL: Disallow: /*.pdf$ chiude tutti i file PDF, ma non la pagina /pdf-guide/.

Un altro problema comune è la presenza di più blocchi per lo stesso robot, oppure di un blocco comune che si sovrappone a un altro. Se un file contiene User-agent: Google bot, Google bot legge solo questo blocco e ignora completamente le regole in User-agent: *. Pertanto, tutte le restrizioni necessarie dovranno essere duplicate nel suo blocco.

Un argomento a parte per il 2026 riguarda i crawler basati sull'IA. User-agent: GPTBot con Disallow: / impedisce a OpenAI di eseguire la scansione del sito. La decisione spetta a voi, ma tenete presente che se un sito è chiuso ai bot basati sull'IA, sarà più difficile per gli assistenti virtuali consigliarlo.

Confronto: analisi del file robots.txt di PromoPilot e alternative

In conclusione: Search Console mostra come Google vede il file, ma solo per il tuo sito. L'analisi online funziona con qualsiasi dominio e spiega cosa non va.

L'analisi del file robots.txt è uno degli 87 strumenti SEO gratuiti di PromoPilot. Se non disponi di un file robots.txt o preferisci ricrearlo da zero, consulta l'articolo dedicato nella sezione dedicata al generatore di robots.txt: lì troverai un editor visivo per la creazione del file. Per analizzare la sitemap, è disponibile uno strumento di analisi separato per il file sitemap.xml.

Limitazioni: cosa non può essere sostituito dal controllo di robots.txt?

Questo strumento controlla solo il file robots.txt e non sostituisce un'analisi del meta tag robots a livello di pagina. Una pagina potrebbe essere aperta nel file robots.txt ma bloccata da un meta tag noindex o da un'intestazione X-Robots-Tag. Tali restrizioni dovrebbero essere rilevate eseguendo un controllo della pagina o un'analisi completa.

I diversi motori di ricerca interpretano le direttive non standard in modo differente. Ciò che un motore di ricerca supporta, un altro lo ignorerà silenziosamente. Affidati alle Sitemap standard User-agent, Allow, Disallow e Sitemap: tutti i principali motori di ricerca le comprendono.

E ricordate: robots.txt non è un sistema di sicurezza. Chiede gentilmente ai robot di non entrare, ma non blocca l'accesso. Il pannello di amministrazione e i dati personali sono protetti da una password, non da una riga "Disallow". Inoltre, robots.txt è accessibile a tutti: elencando sezioni "segrete" al suo interno, le esponete alla curiosità degli utenti.

Quando uno strumento gratuito non è sufficiente?

Trovare una regola rischiosa è metà dell'opera. Decidere quali sezioni chiudere è già una strategia. Hai bisogno di uno specialista se:

• Il negozio ha migliaia di pagine di filtri e opzioni di ordinamento, e non è chiaro quale di esse chiudere;
• Il sito è scomparso dai risultati di ricerca, ma robots.txt "sembra essere a posto";
• Il file robots.txt viene generato dal CMS o dal plugin e le tue modifiche vengono sovrascritte;
• Dobbiamo decidere se abilitare i crawler basati sull'IA e in che modo ciò influirà sulla visibilità negli assistenti virtuali.

Cosa posso fare per il tuo sito web?

Mi chiamo Valeriy Danyuk e sono uno sviluppatore e specialista SEO con 12 anni di esperienza e oltre 200 clienti. Robots.txt, meta tag e sitemap sono le prime cose che verifico in ogni audit.

SEO e promozione

• Audit SEO completo: robots.txt, noindex, canonical, sitemap e indicizzazione effettiva, con relative correzioni.
• Autoblog, grazie ai suoi agenti basati sull'intelligenza artificiale, è un team editoriale completamente automatizzato che pubblica articoli e li rende immediatamente disponibili per l'indicizzazione.
• GEO: Come un hotel è finito su ChatGPT, Gemini e Perplexity: un caso di studio sulla visibilità nelle risposte degli assistenti virtuali basati sull'intelligenza artificiale.

Siti web e negozi online

• Un sito web WordPress con assistente AI a 299 € —con un file robots.txt e una sitemap corretti fin dal primo giorno.
• Sito web su 1001site: sitemap, dati strutturati e indicizzazione tramite bot AI vengono configurati automaticamente.

CRM, contabilità e automazione

• Sistema ERP, sito web e bot Telegram basato sull'intelligenza artificiale per lo smantellamento automatico in 6 giorni.
• Una piattaforma di dropshipping con negozi partner, dove ogni negozio richiede un proprio file robots.txt valido.

Tutti i casi sono nel portfolio. Inviami il tuo indirizzo su Telegram e leggerò il tuo robots.txt per farti sapere se ho chiuso delle sezioni non necessarie.

Risultato

1. Consultando online il file robots.txt, in un solo minuto è possibile scoprire le regole che nascondono un sito o alcune sue sezioni ai robot dei motori di ricerca.
2. Correggere in ordine: Disallow: / → sezioni chiuse → CSS e JS → Sitemap → sintassi.
3. Disallow non rimuove una pagina dall'indice; ciò richiede che la pagina aperta disponga noindex.
4. Se il file robots.txt viene generato dal CMS e le modifiche non vengono salvate, è più semplice affidare la configurazione a uno specialista o passare a 1001site, dove l'indicizzazione è configurata di default.

Controlla subito il tuo file: esegui un'analisi gratuita del robots.txt e, se trovi regole rischiose, scrivimi su Telegram.

Fonti

• Pagina dello strumento di analisi robots.txt di PromoPilot: controlli, risultati di esempio e domande sulla pagina.
• Google Search Central - Introduzione al file robots.txt e alle direttive supportate.
• Guida Google Search Console - Segnalazione del file Robots.txt.