Respuesta breve: para crear un archivo robots.txt en línea, abre el generador de robots.txt de PromoPilot, selecciona una configuración predefinida (Personalizado, Permitir todo, Denegar todo, WordPress, Laravel o Next.js), introduce las rutas para Disallow y Allow, introduce la dirección del sitio web en la línea Sitemap y, opcionalmente, marca Crawl-delay o block AI crawlers. El archivo completo aparecerá a la derecha; puedes copiarlo o descargarlo. Es gratuito y no requiere registro.
Escribo el archivo robots.txt para cada sitio web nuevo y sé lo fácil que es cometer errores manualmente: un espacio de más, una barra olvidada, una regla fuera de un bloque. El generador de robots.txt elimina este problema: te centras en qué cerrar, no en la sintaxis. A continuación, explicaremos cómo usarlo, qué cerrar y dónde guardar el archivo final.
¿Qué hace el generador de robots.txt?
El generador es un formulario en lugar de un editor de texto. Seleccionas la configuración y la herramienta la combina en un archivo válido, mostrándolo en una vista previa en tiempo real.
| Configurando | ¿Qué establece? | ¿Por qué necesita esto el sitio? |
|---|---|---|
| Programar | Personalizado, Permitir todo, Denegar todo, WordPress, Laravel, Next.js | Un punto de partida listo para usar para su motor. |
| URL del sitio web | Dirección para la línea Sitemap | Los robots encuentran el mapa del sitio por sí mismos. |
| Rutas no permitidas | Secciones que no deben escanearse, una por línea. | El robot no pierde tiempo en el panel de administración ni en las páginas de servicio. |
| Permitir rutas | Excepciones dentro de secciones cerradas | Abra el archivo deseado en una carpeta cerrada. |
| Retraso de rastreo (10 segundos) | Pausa entre las solicitudes del robot | Aliviar la carga en un servidor débil para los robots que lo tienen en cuenta |
| Bloqueo de rastreadores de IA | Prohibición para GPTBot, Claude y otros bots de IA. | Controla quién usa tu contenido |
| Previsualizar, copiar, descargar | El archivo robots.txt finalizado | Puedes subirlo al servidor inmediatamente. |
Es importante comprender la limitación: el generador crea un archivo, pero no verifica uno ya existente. Si ya tienes un archivo robots.txt y quieres encontrar errores en él, necesitas analizarlo; el artículo de la siguiente sección trata sobre este tema.
¿Cómo crear un archivo robots.txt en línea?
- Abre el generador de robots.txt.
- Seleccione un ajuste predefinido para su motor. Si su motor no aparece en la lista, elija "Personalizado".
- Introduce la dirección del sitio web:
https://example.com. Esto creará una líneaSitemap. - Agregue rutas no permitidas, una por línea:
/admin/,/tmp/,/search/. - Si es necesario, agregue excepciones para permitir el acceso dentro de carpetas restringidas, como
/uploads/images/. - Marque las casillas: Mapa del sitio, Retraso de rastreo, Bloquear rastreadores de IA.
- Copia o descarga el archivo y súbelo a la raíz del sitio.
En el lado izquierdo de la página se encuentran los ajustes, y en el derecho una vista previa en tiempo real del archivo con los botones "Copiar" y "Descargar robots.txt".
El archivo debe estar ubicado estrictamente en la raíz del dominio: https://example.com/robots.txt. Los robots no lo encontrarán en /blog/robots.txt ni en otro subdominio; cada subdominio tiene su propio archivo robots.txt.
El lugar exacto donde subir el archivo descargado depende de la plataforma:
- Alojamiento regular: a través del administrador de archivos del panel o FTP a la carpeta donde se encuentra la página principal (a menudo
public_htmlowww). - WordPress: si no existe un archivo físico, el motor sirve un archivo robots.txt virtual. Subir el archivo a la raíz lo reemplaza; la segunda opción es usar el editor de archivos del plugin SEO.
- Next.js y otros frameworks, el archivo se coloca en la carpeta
publico se genera a partir del código del proyecto para que no se pierda durante la siguiente implementación. - En los creadores de sitios web, el archivo generalmente se edita en la configuración de SEO en lugar de cargarse manualmente.
El archivo debe llamarse robots.txt en minúsculas y guardarse en formato UTF-8 como texto plano. Tras descargarlo, ábrelo en tu navegador: si ves el texto, todo está correcto.
¿Qué se debe y qué no se debe cerrar en robots.txt?
El principio fundamental: cierra todo aquello que no aporte valor a la búsqueda y haga perder el tiempo al robot. No cierres nada que sea esencial para que el robot comprenda la página.
Normalmente cerrado:
- Panel de administración y cuenta personal:
/admin/,/wp-admin/,/account/; - carrito y pago:
/cart/,/checkout/; - búsqueda interna:
/search/,/?s=; - carpetas de servicio y temporales:
/tmp/,/cgi-bin/; - Infinidad de combinaciones de filtros y opciones de clasificación: ideal solo si existen páginas de destino separadas para los filtros necesarios.
Nunca cerrar:
- CSS, JavaScript e imágenes: sin ellos, Google no verá la página como lo haría un ser humano;
- catálogo, blog, fichas de productos y páginas de destino;
- Páginas que desea eliminar del índice: para ello necesita
noindex, y el robot debe poder leerlo.
Aquí tienes el archivo que obtendrás para una tienda WordPress típica con WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Respecto a las banderas: Google no tiene en cuenta el retraso en el rastreo; solo actívelas si su servidor sufre de la sobrecarga de otros bots. Bloquear los rastreadores de IA es una decisión empresarial: si desea que ChatGPT, Gemini y Perplexity conozcan su sitio web y lo recomienden, no bloquee su acceso.
Otro aspecto práctico es la versión de prueba del sitio. Para la copia de prueba, utilice la configuración preestablecida "Denegar todo", pero asegúrese de reemplazar el archivo al lanzar el sitio: un Disallow: / olvidado suele ser la causa principal de la disminución del tráfico a los sitios nuevos.
Comparación: Generador PromoPilot y otras formas de crear robots.txt
| Forma | ¿Qué es gratis? | Restricciones | ¿Para quién es adecuado? |
|---|---|---|---|
| PromoPilot — Generador de Robots.txt | Preajustes, Denegar y Permitir, Mapa del sitio, Retraso de rastreo, Bloqueo de bots de IA, descarga | Debes subir el archivo al servidor tú mismo. | Para principiantes y para cualquiera que no quiera recordar la sintaxis. |
| Editor en un plugin de SEO WordPress (por ejemplo, Yoast SEO) | Editar un archivo directamente desde el panel de administración | Solo para WordPress, usted mismo escribe la sintaxis. | Para propietarios de sitios web WordPress |
| Archivo Robots en Next.js | El archivo robots.txt se genera a partir del código del proyecto. | Se necesita desarrollador | Proyectos Next.js |
| Editor de texto | Libertad absoluta | Es fácil cometer errores, no hay pistas. | Para aquellos que conocen el estándar de memoria. |
Conclusión: El generador es la forma más rápida de obtener un archivo válido sin necesidad de conocer la sintaxis. El plugin y el código del proyecto resultan prácticos cuando el archivo necesita modificarse junto con el sitio web.
El generador es una de las 87 herramientas SEO gratuitas de PromoPilot. Tras descargar el archivo, compruébelo con un analizador de robots.txt y, para la línea del mapa del sitio, utilice el generador de sitemap.xml; ambos se explican en los artículos adyacentes de esta sección.
Limitaciones del generador: lo que no hará por ti
El generador desconoce la estructura de tu sitio. La configuración predeterminada WordPress cerrará las rutas de servicio habituales, pero no adivinará que los filtros de tu tienda se encuentran en /filter/ y la búsqueda interna en /find/. Tendrás que introducir estas rutas manualmente.
No sube el archivo al servidor ni comprueba que sea accesible en /robots.txt con un código de estado 200. Tras la carga, abre la dirección en un navegador o analízala con un programa.
Y no reemplaza noindex: si el objetivo es eliminar páginas de los resultados de búsqueda, robots.txt no es adecuado. Por último, el archivo no protege tus datos: es público y cualquiera puede ver qué secciones has bloqueado. Los secretos se ocultan tras una contraseña.
¿Cuándo una herramienta gratuita no es suficiente?
Generar un archivo lleva cinco minutos. Decidir qué bloquear en un sitio con miles de páginas es un trabajo arduo. Necesitas un especialista si:
- La tienda tiene cientos de combinaciones de filtros, y algunas de ellas generan tráfico;
- El sitio es multilingüe, ya sea en subdominios o con carpetas separadas para cada idioma;
- Tras editar el archivo robots.txt, el tráfico disminuyó y no está claro qué regla es la responsable;
- Necesitas integrar el archivo robots.txt, las metaetiquetas, la etiqueta canonical y el mapa del sitio en un único sistema.
¿Qué puedo hacer por su sitio web?
Me llamo Valeriy Danyuk, soy desarrollador y especialista en SEO con 12 años de experiencia y más de 200 clientes. Un archivo robots.txt adecuado es un elemento fundamental en todos los sitios web que desarrollo.
SEO y promoción
- Auditoría SEO integral: robots.txt, noindex, canonical y sitemap como un sistema unificado, no como un conjunto de reglas aleatorias.
- Un blog SEO impulsado por IA que genera clientes potenciales orgánicos.
- Un sitio web multilingüe sin traductor, donde el archivo robots.txt y el mapa del sitio deben tener en cuenta todos los idiomas.
Sitios web y tiendas en línea
- Tienda online WooCommerce: más de 40 plantillas, 299 € — con archivo robots.txt para carrito, filtros y proceso de pago.
- Un sitio web en 1001site, donde el mapa del sitio y la indexación se configuran automáticamente. ¿En qué se diferencia de un creador de sitios web con suscripción? Tilda frente al análisis de sitios web con IA.
CRM, contabilidad y automatización
- Sistema de contabilidad mensual para una tienda online: un proyecto para una empresa de la República Checa.
- QuestFlow es una plataforma SaaS Telegram con inteligencia artificial.
Más información en el portafolio. ¿No sabes qué temas tratar? Envíame la dirección de tu sitio web por Telegram y te sugeriré reglas que se ajusten a tu estructura.
Resultado
- El generador en línea de robots.txt crea un archivo correcto en cinco minutos: preajuste, rutas, mapa del sitio, indicadores.
- Cierre el panel de administración, la papelera de reciclaje, la búsqueda y las carpetas de servicio; no cierre CSS, JS, el catálogo ni el blog.
- El archivo robots.txt no elimina las páginas del índice; para eso sirve
noindex. - Una estructura compleja, filtros e idiomas son motivo suficiente para confiar la configuración a un especialista o crear un sitio web en 1001site, donde la indexación viene configurada de serie.
Crea tu propio archivo robots.txt ahora mismo usando el generador gratuito de robots.txt, y si tienes alguna pregunta sobre las reglas, escríbeme en Telegram.
Fuentes
- Página de la herramienta Generador de robots.txt de PromoPilot: configuración, ajustes preestablecidos y preguntas frecuentes.
- Google Search Central - Cómo crear y enviar un archivo robots.txt.
- Documentación de Next.js - archivo de metadatos de robots.
