Comprovació de robots.txt en línia: com trobar errors que amaguen el vostre lloc web als motors de cerca

La resposta curta: per comprovar robots.txt en línia, introduïu el vostre domini a l'eina d'anàlisi robots.txt de PromoPilot i feu clic a "Analitzar". L'eina descarregarà automàticament el fitxer, analitzarà totes les directives (Permetre, No permetre, Retard de rastreig, Mapa del lloc), mostrarà els blocs d'agent d'usuari i els robots als quals es dirigeixen, trobarà errors de sintaxi i regles de risc, comprovarà la disponibilitat d'URL crítiques i proporcionarà recomanacions. És gratuït i no requereix registre.

La línia més cara que he trobat mai al fitxer robots.txt d'una altra persona ha estat " Disallow: / ", una peça residual del desenvolupament. El lloc web es va llançar, es va pagar per la publicitat, però el trànsit orgànic es va mantenir a zero durant tres setmanes perquè els robots van ser bloquejats i no van poder visitar totes les pàgines.

Què comprova l'anàlisi de robots.txt?

Robots.txt és un fitxer de text curt a l'arrel d'un lloc web, però és fàcil cometre un error: una barra addicional canvia el significat d'una regla. L'eina llegeix el fitxer de la mateixa manera que ho fan els robots de cerca.

Un exemple d'un resultat de la descripció de l'eina: "S'han trobat 2 regles de desactivació potencialment arriscades i 1 directiva de mapa del lloc que falta". Aquests són els tipus de troballes que mereixen una atenció especial.

Com puc consultar robots.txt en línia?

1. Obriu l'eina. L'anàlisi de Robots.txt funciona al navegador.
2. Introduïu el domini: https://example.com. El fitxer es descarregarà automàticament a /robots.txt.
3. Feu clic a "Analitzar".
4. Reviseu la llista de directives per als blocs d'agent d'usuari.
5. Analitzar els errors i les regles arriscades: això és el més important de l'informe.
6. Corregiu el fitxer al servidor o a la configuració del CMS i torneu a executar la comprovació.

Pàgina d'eines: camp d'adreça, botó "Analitzar" i descripció: què es comprova, escenaris i limitacions.

Reviseu el fitxer robots.txt en dues situacions essencials: abans de llançar una nova versió del vostre lloc web i després de qualsevol trasllat. És quan és més probable que les restriccions de prova migrin a la versió de producció. També és útil revisar el fitxer robots.txt del vostre competidor: les seccions restringides mostren quines pàgines consideren pàgines de servei i com està estructurat el seu directori.

Com llegir el resultat i què cal corregir primer?

Passa de normes que cobreixen tot el lloc a la cosmètica.

1. Disallow: / al bloc User-agent: *. Tot el lloc web està tancat. Si aquesta no és una versió de prova, elimineu aquesta línia immediatament.
2. Les seccions importants estan tancades. Disallow: /catalog tanca no només el directori, sinó també qualsevol cosa que comenci amb aquests caràcters, com ara /catalog-sale/. Les regles es basen en l'inici de la ruta i la majúscula i minúscula és important.
3. El CSS, el JS i les imatges estan bloquejats. Una regla com ara Disallow: /wp-content/ impedeix que Google visualitzi la pàgina com ho faria un humà. El rastrejador hauria de carregar estils i scripts.
4. No hi ha cap línia del mapa del lloc o porta a 404. Si us plau, proporcioneu l'adreça completa del mapa del lloc amb el protocol.
5. Sintaxi. Errors tipogràfics en els noms de les directives, regles fora del bloc User-Agent i línies buides dins del bloc: els robots ignoren les línies no vàlides i la regla falla silenciosament.
6. Directives que Google no admet. Google ignora Crawl-delay i Google no admet Noindex a robots.txt. Si us baseu en aquestes, aquesta regla no s'aplica.

Un exemple d'un fitxer correcte per a un lloc web WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

El panell d'administració, la cerca interna i les pàgines d'utilitats de la botiga estan tancades, el controlador AJAX (sense el qual algunes parts del lloc web es trenquen) està habilitat i el mapa del lloc està especificat. Tota la resta està habilitat per defecte.

Com sabeu si una URL específica està oberta si hi ha diverses regles? Google aplica la regla més específica: la que té la ruta més llarga. Si un fitxer conté Disallow: /blog/ com Allow: /blog/seo/, la pàgina /blog/seo/proverka/ està oberta i /blog/news/ està tancada. Si les rutes tenen la mateixa longitud, la regla de permissió guanya. L'asterisc * representa qualsevol seqüència de caràcters i $ marca el final de l'URL: Disallow: /*.pdf$ tanca tots els fitxers PDF, però no la pàgina /pdf-guide/.

Una altra troballa habitual són diversos blocs per al mateix robot, o un bloc comú que se superposa a un altre. Si un fitxer conté User-agent: Google bot, el bot Google només llegeix aquest bloc i ignora completament les regles de User-agent: *. Per tant, totes les restriccions necessàries s'hauran de duplicar al seu bloc.

Un tema a part per al 2026 són els rastrejadors d'IA. User-agent: GPTBot amb Disallow: / impedeix que OpenAI rastregi el lloc. Aquesta és la vostra decisió, però tingueu en compte: si un lloc està tancat als robots d'IA, és més difícil que els assistents el recomanin.

Comparació: anàlisi i alternatives de PromoPilot robots.txt

Conclusió: Search Console mostra com veu Google el fitxer, però només per al vostre lloc web. L'anàlisi en línia funciona amb qualsevol domini i explica què està malament.

L'anàlisi de Robots.txt és una de les 87 eines de SEO gratuïtes de PromoPilot. Si no teniu un fitxer robots.txt o és més fàcil reescriure'l des de zero, consulteu l'article relacionat a la secció del generador de robots.txt; allà trobareu un creador visual per crear el fitxer. I per comprovar el mapa del lloc en si, hi ha una eina d'anàlisi sitemap.xml independent.

Limitacions: Quines comprovacions de robots.txt no substituiran?

Aquesta eina només comprova el fitxer robots.txt i no substitueix una auditoria de metaetiquetes robots a nivell de pàgina. Una pàgina pot estar oberta a robots.txt però bloquejada per una metaetiqueta noindex o una capçalera X-Robots-Tag. Aquestes restriccions s'han de detectar realitzant una comprovació de pàgina o una auditoria completa.

Els diferents motors de cerca interpreten les directives no estàndard de manera diferent. El que un motor de cerca admet, un altre ho ignorarà silenciosament. Confieu en les Sitemap estàndard User-agent, Allow, Disallow i Sitemap: tots els principals motors de cerca les entenen.

I recorda: robots.txt no és seguretat. Demana educadament als robots que no entrin, però no bloqueja l'accés. El tauler d'administració i les dades personals estan protegides amb una contrasenya, no amb una línia de "Disallow". A més, robots.txt està obert a tothom: en enumerar-hi seccions "secretes", les exposes a persones curioses.

Quan no n'hi ha prou amb una eina gratuïta?

Trobar una regla arriscada és la meitat de la batalla. Decidir quines seccions tancar ja és una estratègia. Necessiteu un especialista si:

• La botiga té milers de pàgines de filtres i opcions d'ordenació, i no està clar quina d'elles tancar;
• el lloc web ha desaparegut dels resultats de cerca, però robots.txt "sembla que està bé";
• robots.txt és generat pel CMS o complement i les modificacions se sobreescriuen;
• Hem de decidir si activem els rastrejadors d'IA i com afectarà això la visibilitat als assistents.

Què puc fer pel vostre lloc web?

Em dic Valeriy Danyuk i sóc desenvolupador i especialista en SEO amb 12 anys d'experiència i més de 200 clients. Robots.txt, metaetiquetes i mapes del lloc són les primeres coses que reviso a cada auditoria.

SEO i promoció

• Auditoria SEO clau en mà: robots.txt, noindex, canonical, sitemap i indexació real, amb correccions.
• Autoblog amb agents d'IA és un equip editorial sense humans que publica articles i els obre immediatament per a la seva indexació.
• GEO: Com un hotel va aparèixer a ChatGPT, Gemini i Perplexity: un estudi de cas sobre la visibilitat en les respostes d'assistent d'IA.

Llocs web i botigues en línia

• Un lloc web WordPress amb un assistent d'IA per 299 €, amb un fitxer robots.txt i un mapa del lloc adequats des del primer dia.
• Lloc web a 1001site: el mapa del lloc, les dades estructurades i la indexació de bots d'IA es configuren automàticament.

CRM, comptabilitat i automatització

• ERP, lloc web i bot Telegram amb intel·ligència artificial per al desmantellament d'automòbils en 6 dies.
• Una plataforma de dropshipping amb botigues associades, on cada botiga requereix el seu propi fitxer robots.txt vàlid.

Tots els casos són al portafoli. Envia'm la teva adreça a Telegram i llegiré el teu robots.txt i t'avisaré si he tancat alguna secció innecessària.

Resultat

1. Comprovar robots.txt en línia en només un minut revela regles que amaguen un lloc o les seves seccions als robots.
2. Corregiu-ho en ordre: Disallow: / → seccions tancades → CSS i JS → Mapa del lloc → sintaxi.
3. "Disallow" no elimina una pàgina de l'índex; això requereix que noindex a la pàgina oberta.
4. Si el CMS genera el fitxer robots.txt i les edicions no es mantenen, és més fàcil confiar la configuració a un especialista o canviar a 1001site, on la indexació es configura de fàbrica.

Revisa el teu fitxer ara mateix: executa una anàlisi gratuïta de robots.txt i, si trobes alguna regla arriscada, escriu-me a Telegram.

Fonts

• Pàgina de l'eina d'anàlisi robots.txt de PromoPilot: comprovacions, exemples de resultats i preguntes de la pàgina.
• Google Search Central: Introducció a robots.txt i directives compatibles.
• Ajuda Google Search Console: informe Robots.txt.