Comprobación de robots.txt en liña: como atopar erros que ocultan o teu sitio aos motores de busca

A resposta curta: para comprobar robots.txt en liña, introduce o teu dominio na ferramenta de análise de robots.txt de PromoPilot e fai clic en "Analizar". A ferramenta descargará automaticamente o ficheiro, analizará todas as directivas (Permitir, Non permitir, Retraso de rastrexo, Mapa do sitio), mostrará os bloques de axente de usuario e os robots aos que se dirixen, atopará erros de sintaxe e regras arriscadas, comprobará a dispoñibilidade de URL críticas e ofrecerá recomendacións. É gratuíto e non require rexistro.

A liña máis cara que atopei no ficheiro robots.txt doutra persoa foi " Disallow: / ", un residuo do desenvolvemento. Lanzouse o sitio, pagouse pola publicidade, pero o tráfico orgánico mantívose en cero durante tres semanas porque se lles bloqueou aos robots que visitasen todas as páxinas.

Que comproba a análise de robots.txt?

Robots.txt é un ficheiro de texto curto na raíz dun sitio web, pero é doado cometer un erro: unha barra adicional cambia o significado dunha regra. A ferramenta le o ficheiro do mesmo xeito que o fan os robots de busca.

Un exemplo dun resultado da descrición da ferramenta: "Atopáronse 2 regras de desactivación potencialmente arriscadas e 1 directiva Sitemap que falta". Estes son os tipos de achados que merecen unha atención especial.

Como comprobar robots.txt en liña?

1. Abre a ferramenta. A análise de Robots.txt funciona no navegador.
2. Introduza o dominio: https://example.com. O ficheiro descargarase automaticamente a /robots.txt.
3. Fai clic en "Analizar".
4. Revisa a lista de directivas para os bloques de axente de usuario.
5. Analizar erros e regras arriscadas: isto é o principal do informe.
6. Corrixe o ficheiro no servidor ou na configuración do CMS e executa a comprobación de novo.

Páxina de ferramentas: campo de enderezo, botón "Analizar" e descrición (que se comproba, escenarios e limitacións).

Revisa o ficheiro robots.txt en dúas situacións esenciais: antes de lanzar unha nova versión do teu sitio e despois de calquera cambio. É neste momento cando é máis probable que as restricións de proba migren á versión de produción. Tamén é útil revisar o ficheiro robots.txt do teu competidor: as seccións restrinxidas mostran que páxinas consideran páxinas de servizo e como está estruturado o seu directorio.

Como ler o resultado e que corrixir primeiro?

Pasar de regras que abarcan todo o sitio a estéticas.

1. Disallow: / no bloque User-agent: *. Todo o sitio está pechado. Se esta non é unha versión de proba, elimine esta liña inmediatamente.
2. As seccións importantes están pechadas. Disallow: /catalog pecha non só o directorio, senón tamén calquera cousa que comece con estes caracteres, como /catalog-sale/. As regras baséanse no inicio da ruta e as maiúsculas e minúsculas son importantes.
3. O CSS, o JS e as imaxes están bloqueados. Unha regra como Disallow: /wp-content/ impide que Google vexa a páxina como o faría un humano. O rastreador debería cargar estilos e scripts.
4. Non hai ningunha liña do mapa do sitio ou leva a 404. Proporcione o enderezo completo do mapa do sitio co protocolo.
5. Sintaxe. Erros tipográficos nos nomes das directivas, regras fóra do bloque User-Agent e liñas baleiras dentro do bloque: os robots ignoran as liñas non válidas e a regra falla silenciosamente.
6. Directivas que Google non admite. Google ignora Crawl-delay e Google non admite Noindex en robots.txt. Se te baseas nelas, esta regra non se aplica.

Un exemplo dun ficheiro correcto para un sitio WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

As páxinas do panel de administración, a busca interna e as utilidades da tenda están pechadas, o xestor AJAX (sen o cal partes do sitio se interrumpen) está activado e o mapa do sitio está especificado. Todo o demais está activado por defecto.

Como saber se un URL específico está aberto se hai varias regras? Google aplica a regra máis específica: a que ten a ruta máis longa. Se un ficheiro contén Disallow: /blog/ como Allow: /blog/seo/, entón a páxina /blog/seo/proverka/ está aberta e /blog/news/ está pechada. Se as rutas teñen a mesma lonxitude, a regra de permitir gaña. O asterisco * representa calquera secuencia de caracteres e $ marca o final do URL: Disallow: /*.pdf$ pecha todos os ficheiros PDF, pero non a páxina /pdf-guide/.

Outro achado común son varios bloques para o mesmo robot ou un bloque común que se solapa con outro separado. Se un ficheiro contén User-agent: Google bot, o bot Google só le este bloque e ignora completamente as regras en User-agent: *. Polo tanto, todas as restricións necesarias terán que duplicarse no seu bloque.

Un tema aparte para 2026 son os rastreadores de IA. User-agent: GPTBot con Disallow: / impide que OpenAI rastrexe o sitio. Esta é a túa decisión, pero ten en conta que se un sitio está pechado aos bots de IA, é máis difícil que os asistentes o recomenden.

Comparación: análise e alternativas de PromoPilot robots.txt

Conclusión: Search Console mostra como Google ve o ficheiro, pero só para o teu sitio. A análise en liña funciona con calquera dominio e explica o que está mal.

A análise de Robots.txt é unha das 87 ferramentas de SEO gratuítas de PromoPilot. Se non tes un ficheiro robots.txt ou é máis doado reescribilo desde cero, consulta o artigo relacionado na sección do xerador de robots.txt; alí atoparás un creador visual para crear o ficheiro. E para comprobar o propio mapa do sitio, hai unha ferramenta de análise sitemap.xml independente.

Limitacións: Que comprobación de robots.txt non substituirá?

Esta ferramenta só comproba o ficheiro robots.txt e non substitúe unha auditoría de metaetiquetas de robots a nivel de páxina. Unha páxina pode estar aberta en robots.txt pero bloqueada por unha metaetiqueta noindex ou unha cabeceira X-Robots-Tag. Estas restricións deberían detectarse realizando unha comprobación da páxina ou unha auditoría completa.

Os diferentes motores de busca interpretan as directivas non estándar de xeito diferente. O que un motor de busca admite, outro o ignorará silenciosamente. Confía nas Sitemap estándar User-agent, Allow, Disallow e Sitemap: todos os principais motores de busca as entenden.

E lembra: robots.txt non é seguridade. Pídelle educadamente aos robots que non entren, pero non bloquea o acceso. O panel de administración e os datos persoais están protexidos cun contrasinal, non cunha liña de "Rexeitar". Ademais, robots.txt está aberto a todos: ao incluír seccións "secretas", expóñesas a persoas curiosas.

Cando non abonda cunha ferramenta gratuíta?

Atopar unha regra arriscada é a metade da batalla. Decidir que seccións pechar xa é unha estratexia. Necesitas un especialista se:

• A tenda ten miles de páxinas de filtros e opcións de clasificación, e non está claro cal delas pechar;
• o sitio desapareceu dos resultados de busca, pero robots.txt "parece estar ben";
• robots.txt é xerado polo CMS ou plugin e as túas edicións sobreescríbense;
• Temos que decidir se activamos os rastreadores de IA e como isto afectará á visibilidade nos asistentes.

Que podo facer polo teu sitio web?

Chámome Valeriy Danyuk e son desenvolvedor e especialista en SEO con 12 anos de experiencia e máis de 200 clientes. Robots.txt, as metaetiquetas e os mapas do sitio son o primeiro que comprobo en cada auditoría.

SEO e promoción

• Auditoría SEO integral: robots.txt, noindex, canonical, sitemap e indexación real, con correccións.
• Autoblog con axentes de IA é un equipo editorial sen humanos que publica artigos e os abre inmediatamente para a súa indexación.
• GEO: Como un hotel apareceu en ChatGPT, Gemini e Perplexity: un estudo de caso sobre a visibilidade nas respostas dos asistentes de IA.

Sitios web e tendas en liña

• Un sitio web WordPress cun asistente de IA por 299 €, cun ficheiro robots.txt e un mapa do sitio axeitados desde o primeiro día.
• Sitio web en 1001site: o mapa do sitio, os datos estruturados e a indexación de bots de IA configúranse automaticamente.

CRM, contabilidade e automatización

• ERP, sitio web e bot Telegram con IA para desmantelamento de vehículos en 6 días.
• Unha plataforma de dropshipping con tendas asociadas, onde cada tenda require o seu propio ficheiro robots.txt válido.

Todos os casos están no portfolio. Envíame o teu enderezo en Telegram e lerei o teu robots.txt e avisareiche se pechei algunha sección innecesaria.

Resultado

1. Comprobar robots.txt en liña nun minuto revela regras que ocultan un sitio ou as súas seccións aos robots.
2. Corrixir na orde indicada: Disallow: / → seccións pechadas → CSS e JS → Mapa do sitio → sintaxe.
3. Disallow non elimina unha páxina do índice; isto require noindex na páxina aberta.
4. Se o ficheiro robots.txt é xerado polo CMS e as edicións non se manteñen, é máis doado confiarlle a configuración a un especialista ou cambiar a 1001site, onde a indexación está configurada de fábrica.

Revisa o teu ficheiro agora mesmo: executa unha análise gratuíta de robots.txt e, se atopas algunha regra arriscada, escríbeme en Telegram.

Fontes

• Páxina da ferramenta de análise de robots.txt de PromoPilot: comprobacións, resultados de mostra e preguntas da páxina.
• Centro de busca Google: introdución a robots.txt e directivas compatibles.
• Axuda da Consola de busca Google: informe de Robots.txt.