Resposta curta: para crear un ficheiro robots.txt en liña, abre o xerador de robots.txt de PromoPilot, selecciona unha configuración predefinida (Personalizada, Permitir todo, Denegar todo, WordPress, Laravel ou Next.js), introduce as rutas para Desactivar e Permitir, introduce o enderezo do sitio web para a liña do mapa do sitio e, opcionalmente, marca a opción Retraso do rastrexo ou bloqueo dos rastreadores de IA. O ficheiro completo aparecerá á dereita; podes copialo ou descargalo. É gratuíto e non require rexistro.
Escribo robots.txt para cada sitio web novo e sei o doado que é cometer erros manualmente: un espazo extra, unha barra esquecida, unha regra fóra dun bloque. O creador de robots.txt elimina este problema: pensas no que pechar, non na sintaxe. A continuación, explicaremos como usalo, que pechar e onde colocar o ficheiro rematado.
Que fai o xerador de ficheiros robots.txt?
O xerador é un formulario en lugar dun editor de texto. Seleccionas a configuración e a ferramenta a monta nun ficheiro válido e móstrao nunha vista previa en directo.
| Configuración | Que establece | Por que precisa isto o sitio? |
|---|---|---|
| Predefinido | Personalizado, Permitir todo, Denegar todo, WordPress, Laravel, Next.js | Un punto de partida listo para o teu motor |
| URL do sitio web | Enderezo para a liña Sitemap | Os robots atopan o mapa do sitio por si mesmos |
| Non permitir rutas | Seccións que non se van dixitalizar, unha por liña | O robot non perde tempo no panel de administración e nas páxinas de servizo. |
| Permitir rutas | Excepcións dentro das seccións pechadas | Abrir o ficheiro desexado nun cartafol pechado |
| Retardo de rastrexo (10 segundos) | Pausa entre as solicitudes do robot | Aliviar a carga nun servidor débil para robots que o teñan en conta |
| Bloqueo de rastreadores de IA | Prohibición de GPTBot, Claude e outros bots de IA | Controla quen usa o teu contido |
| Vista previa, copia, descarga | O ficheiro robots.txt rematado | Podes subilo ao servidor inmediatamente. |
É importante entender a limitación: o xerador crea un ficheiro, pero non comproba un existente. Se xa tes un ficheiro robots.txt e queres atopar erros nel, debes analizalo; o artigo da seguinte sección está dedicado a isto.
Como crear robots.txt en liña?
- Abre o xerador de ficheiros robots.txt.
- Selecciona unha configuración predefinida para o teu motor. Se o teu motor non aparece na lista, escolle "Personalizado".
- Introduza o enderezo do sitio web:
https://example.com. Isto creará unha liñaSitemap. - Engadir rutas Non permitir, unha por liña:
/admin/,/tmp/,/search/. - Se é necesario, engade Permitir excepcións dentro de cartafoles restrinxidos, como
/uploads/images/. - Marca as casillas: Mapa do sitio, Retraso do rastrexo, Bloquear os rastreadores de IA.
- Copia ou descarga o ficheiro e cárgao na raíz do sitio.
Na parte esquerda da páxina están a configuración e, na dereita, unha vista previa en directo do ficheiro cos botóns "Copiar" e "Descargar robots.txt".
O ficheiro debe estar situado estritamente na raíz do dominio: https://example.com/robots.txt. Os robots non o atoparán no cartafol /blog/robots.txt nin noutro subdominio; cada subdominio ten o seu propio ficheiro robots.txt.
Onde cargar exactamente o ficheiro descargado depende da plataforma:
- Aloxamento regular: a través do xestor de ficheiros do panel ou FTP ao cartafol onde se atopa a páxina principal (a miúdo
public_htmlouwww). - WordPress: se non hai ningún ficheiro físico, o motor serve un ficheiro robots.txt virtual. Subir o ficheiro á raíz substitúeo; a segunda opción é usar o editor de ficheiros no complemento SEO.
- Next.js e outros frameworks: o ficheiro colócase na carpeta
publicou xérase a partir do código do proxecto para que non se perda durante a seguinte implementación. - Creadores de sitios web: o ficheiro adoita editarse na configuración de SEO en lugar de cargarse manualmente.
O ficheiro debe chamarse robots.txt en minúsculas e gardarse en codificación UTF-8 como texto sen formato. Despois de descargalo, ábreo no teu navegador: se ves o texto, todo está no seu sitio.
Que se debe e que non se debe pechar en robots.txt?
O principio principal: pecha calquera cousa que non engada valor á busca e que lle faga perder o tempo ao robot. Non peches nada que sexa esencial para que o robot entenda a páxina.
Normalmente pechado:
- panel de administración e conta persoal:
/admin/,/wp-admin/,/account/; - cesta e finalización da compra:
/cart/,/checkout/; - busca interna:
/search/,/?s=; - cartafoles de servizo e temporais:
/tmp/,/cgi-bin/; - Combinacións infinitas de filtros e opcións de ordenación: xenial, só se hai páxinas de destino separadas para os filtros requiridos.
Nunca pechar:
- CSS, JavaScript e imaxes: sen eles, Google non vería a páxina como o faría un humano;
- catálogo, blog, fichas de produtos e páxinas de destino;
- páxinas que queres eliminar do índice; para iso necesitas
noindexe o robot debe poder lelo.
Aquí tes o ficheiro que obterás para unha tenda típica WordPress con WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
En canto ás bandeiras. Google non ten en conta o atraso na rastrexamento; só o activa se o teu servidor está a sufrir a presenza doutros bots. Bloquear os rastreadores de IA é unha decisión empresarial: se queres que ChatGPT, Gemini e Perplexity saiban de ti e te recomenden, non bloquees o seu acceso.
Outro punto práctico é a versión de proba do sitio. Para a copia de proba, usa a configuración predefinida "Denegar todo", pero asegúrate de substituír o ficheiro ao iniciar: un Disallow: / esquecido é o que adoita reducir o tráfico aos novos sitios.
Comparación: Xerador PromoPilot e outras formas de crear Robots.txt
| Camiño | Que é gratis? | Restricións | Para quen é axeitado? |
|---|---|---|---|
| PromoPilot — Xerador de Robots.txt | Predefinidos, Permitir e Desactivar, Mapa do sitio, Retraso na exploración, Bloqueo de bots de IA, Descarga | Tes que subir o ficheiro ao servidor ti mesmo. | Para principiantes e calquera que non queira lembrar a sintaxe |
| Editor nun plugin de SEO WordPress (por exemplo, Yoast SEO) | Editar un ficheiro directamente desde o panel de administración | Só para WordPress, escribes a sintaxe ti mesmo | Para propietarios de sitios web WordPress |
| Ficheiro de robots en Next.js | robots.txt xérase a partir do código do proxecto | Necesítase un desenvolvedor/a | Proxectos Next.js |
| Editor de texto | liberdade completa | É doado cometer erros, sen pistas | Para os que coñecen o estándar de memoria |
Conclusión: O xerador é a forma máis rápida de obter un ficheiro válido sen coñecer a sintaxe. O complemento e o código do proxecto son prácticos cando o ficheiro precisa cambiar xunto co sitio web.
O xerador é unha das 87 ferramentas de SEO gratuítas de PromoPilot. Despois de descargar o ficheiro, verifícao cun analizador de robots.txt e, para a liña do mapa do sitio, usa o xerador sitemap.xml; ambos están tratados nos artigos adxacentes desta sección.
Limitacións do xerador: o que non fará por ti
O xerador non coñece a estrutura do teu sitio. A configuración predefinida WordPress pechará as rutas de servizo típicas, pero non adiviñará que os filtros da túa tenda están en /filter/ e a busca interna en /find/. Terás que introducir estas rutas ti mesmo.
Non carga o ficheiro no servidor nin comproba que sexa accesible en /robots.txt cun código de estado 200. Despois de cargalo, abre o enderezo nun navegador ou execútao a través dun analizador sintáctico.
E non substitúe noindex: se o obxectivo é eliminar páxinas dos resultados de busca, robots.txt non é axeitado. Finalmente, o ficheiro non protexe os teus datos: é público e calquera pode ler que seccións bloqueaches. Os segredos están agochados tras un contrasinal.
Cando non abonda cunha ferramenta gratuíta?
Xerar un ficheiro leva cinco minutos. Decidir que bloquear nun sitio con miles de páxinas é moito traballo. Necesitas un especialista se:
- A tenda ten centos de combinacións de filtros e algunhas delas xeran tráfico;
- o sitio é multilingüe, en subdominios ou con cartafoles separados para os idiomas;
- Despois de editar robots.txt, o tráfico caeu e non está claro cal é a regra a culpable;
- Necesitas aliñar robots.txt, metaetiquetas, ficheiro canónico e mapa do sitio nun só sistema.
Que podo facer polo teu sitio web?
Chámome Valeriy Danyuk, son desenvolvedor e especialista en SEO con 12 anos de experiencia e máis de 200 clientes. Un ficheiro robots.txt axeitado forma parte de cada sitio web que creo.
SEO e promoción
- Auditoría SEO integral: robots.txt, noindex, canonical e sitemap como un sistema unificado, non un conxunto de regras aleatorias.
- Un blog de SEO con tecnoloxía de IA que xera clientes potenciais orgánicos.
- Un sitio web multilingüe sen tradutor, onde robots.txt e o mapa do sitio deben ter en conta todos os idiomas.
Sitios web e tendas en liña
- Tenda en liña WooCommerce: máis de 40 modelos, 299 €, con robots.txt para o carriño, os filtros e o proceso de finalización da compra.
- Un sitio web en 1001site, onde o mapa do sitio e a indexación se configuran automaticamente. En que se diferencia dun creador cunha tarifa de subscrición? Tilda fronte a unha análise de sitios web con tecnoloxía de IA.
CRM, contabilidade e automatización
- Un sistema de contabilidade mensual para unha tenda en liña: un proxecto para unha empresa da República Checa.
- QuestFlow é un creador SaaS Telegram con IA.
Máis no portfolio. Non tes claro que abordar? Envíame o enderezo do teu sitio web en Telegram. Suxerirei regras para a túa estrutura.
Resultado
- O xerador de robots.txt en liña crea un ficheiro correcto en cinco minutos: configuración predefinida, rutas, mapa do sitio e indicadores.
- Pecha o panel de administración, a papeleira, as carpetas de busca e de servizos; non peches CSS, JS, o catálogo nin o blog.
- robots.txt non elimina páxinas do índice; para iso serve
noindex. - Unha estrutura complexa, filtros e idiomas son unha razón para confiar a configuración a un especialista ou construír un sitio en 1001site, onde a indexación se configura de fábrica.
Crea o teu propio ficheiro robots.txt agora mesmo usando o xerador gratuíto de robots.txt e, se tes algunha dúbida sobre as regras, escríbeme en Telegram.
Fontes
- Páxina da ferramenta Xerador de robots.txt de PromoPilot: configuracións, predefinicións e preguntas da páxina.
- Busca central Google: como crear e enviar un ficheiro Robots.txt.
- Documentación de Next.js: ficheiro de metadatos de robots.
