Resposta curta: per crear un fitxer robots.txt en línia, obriu el generador de robots.txt de PromoPilot, seleccioneu una configuració predefinida (Personalitzada, Permet-ho tot, Denega-ho tot, WordPress, Laravel o Next.js), introduïu les rutes per a No permetre i Permetre, introduïu l'adreça del lloc web per a la línia del mapa del lloc i, opcionalment, marqueu Retard del rastreig o bloqueig dels rastrejadors d'IA. El fitxer complet apareixerà a la dreta; el podeu copiar o descarregar. És gratuït i no requereix cap registre.
Escric robots.txt per a cada lloc web nou i sé com és de fàcil cometre errors manualment: un espai addicional, una barra oblidada, una regla fora d'un bloc. El constructor de robots.txt elimina aquest problema: penses en què tancar, no en la sintaxi. A continuació, explicarem com utilitzar-lo, què tancar i on posar el fitxer acabat.
Què fa el generador de robots.txt?
El generador és un formulari en comptes d'un editor de text. Seleccioneu la configuració i l'eina la reuneix en un fitxer vàlid i el mostra en una vista prèvia en directe.
| Configuració | Què estableix | Per què el lloc necessita això? |
|---|---|---|
| Predefinició | Personalitzat, Permet-ho tot, Denega-ho tot, WordPress, Laravel, Next.js | Un punt de partida prefabricat per al vostre motor |
| URL del lloc web | Adreça per a la línia Sitemap | Els robots troben el mapa del lloc ells mateixos |
| No permetre camins | Seccions que no s'han d'escanejar, una per línia | El robot no perd temps al tauler d'administració ni a les pàgines de servei. |
| Permetre camins | Excepcions dins de seccions tancades | Obriu el fitxer desitjat en una carpeta tancada |
| Retard de rastreig (10 segons) | Pausa entre sol·licituds de robots | Alleujar la càrrega d'un servidor feble per a robots que ho tenen en compte |
| Bloqueig de rastrejadors d'IA | Prohibició per a GPTBot, Claude i altres bots d'IA | Controla qui utilitza el teu contingut |
| Vista prèvia, còpia, descàrrega | El fitxer robots.txt acabat | Pots pujar-ho al servidor immediatament. |
És important entendre la limitació: el generador crea un fitxer, però no en comprova un d'existent. Si ja teniu un fitxer robots.txt i voleu trobar-hi errors, heu d'analitzar el fitxer robots.txt; l'article de la secció següent està dedicat a això.
Com crear robots.txt en línia?
- Obriu el generador de robots.txt.
- Seleccioneu una configuració predefinida per al vostre motor. Si el vostre motor no apareix a la llista, trieu "Personalitzat".
- Introduïu l'adreça del lloc web:
https://example.com. Això crearà una líniaSitemap. - Afegeix camins de desactivació, un per línia:
/admin/,/tmp/,/search/. - Si cal, afegiu Permet excepcions dins de carpetes restringides, com ara
/uploads/images/. - Marca les caselles: Mapa del lloc, Retard del rastreig, Bloqueja els rastrejadors d'IA.
- Copieu o descarregueu el fitxer i pengeu-lo a l'arrel del lloc.
A la part esquerra de la pàgina hi ha la configuració i a la dreta hi ha una vista prèvia en directe del fitxer amb els botons "Copia" i "Descarrega robots.txt".
El fitxer ha d'estar ubicat estrictament a l'arrel del domini: https://example.com/robots.txt. Els robots no el trobaran a /blog/robots.txt ni en un altre subdomini; cada subdomini té el seu propi fitxer robots.txt.
El lloc exacte on s'ha de penjar el fitxer descarregat depèn de la plataforma:
- Allotjament regular: a través del gestor de fitxers del panell o FTP a la carpeta on es troba la pàgina principal (sovint
public_htmlowww). - WordPress: si no hi ha cap fitxer físic, el motor serveix un fitxer robots.txt virtual. Pujar el fitxer a l'arrel el substitueix; la segona opció és utilitzar l'editor de fitxers del connector SEO.
- Next.js i altres frameworks: el fitxer es col·loca a la carpeta
publico es genera a partir del codi del projecte perquè no es perdi durant el següent desplegament. - Creadors de llocs web: el fitxer normalment s'edita a la configuració de SEO en lloc de pujar-se manualment.
El fitxer s'ha de dir robots.txt en minúscules i s'ha de desar amb la codificació UTF-8 com a text sense format. Després de descarregar-lo, obriu-lo al navegador: si veieu el text, vol dir que tot està al seu lloc.
Què s'hauria de tancar i què no s'hauria de tancar a robots.txt?
El principi principal: tanqueu tot allò que no aporti valor a la cerca i que faci perdre el temps del robot. No tanqueu res que sigui essencial perquè el robot entengui la pàgina.
Normalment tancat:
- panell d'administració i compte personal:
/admin/,/wp-admin/,/account/; - cistella de la compra i pagament:
/cart/,/checkout/; - cerca interna:
/search/,/?s=; - carpetes de servei i temporals:
/tmp/,/cgi-bin/; - Combinacions infinites de filtres i opcions d'ordenació: perfecte, només si hi ha pàgines de destinació separades per als filtres necessaris.
No tancar mai:
- CSS, JavaScript i imatges: sense ells, Google no veuria la pàgina com ho faria un humà;
- catàleg, blog, fitxes de producte i pàgines de destinació;
- pàgines que voleu eliminar de l'índex; per a això necessiteu
noindexi el robot ha de poder llegir-lo.
Aquí teniu el fitxer que obtindreu per a una botiga típica WordPress amb WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Quant a les banderes. Google no té en compte el retard de rastreig; només l'activeu si el vostre servidor pateix altres bots. Bloquejar els rastrejadors d'IA és una decisió empresarial: si voleu que ChatGPT, Gemini i Perplexity sàpiguen de vosaltres i us recomanin, no bloquegeu el seu accés.
Un altre punt pràctic és la versió de prova del lloc. Per a la còpia de prova, utilitzeu el valor predefinit "Denegar tot", però assegureu-vos de substituir el fitxer en iniciar-lo: un Disallow: / oblidat és el que més sovint redueix el trànsit als llocs nous.
Comparació: Generador PromoPilot i altres maneres de crear Robots.txt
| Camí | Què és gratuït? | Restriccions | Per a qui és adequat? |
|---|---|---|---|
| PromoPilot — Generador de Robots.txt | Preajustos, Desactivar i Permetre, Mapa del lloc, Retard del rastreig, Bloqueig de bots d'IA, Descàrrega | Heu de pujar el fitxer al servidor vosaltres mateixos. | Per a principiants i per a qualsevol persona que no vulgui recordar la sintaxi |
| Editor en un complement SEO WordPress (per exemple, Yoast SEO) | Editar un fitxer directament des del tauler d'administració | Només per a WordPress, la sintaxi l'escriviu vosaltres mateixos | Per a propietaris de llocs web WordPress |
| Fitxer de robots a Next.js | robots.txt es genera a partir del codi del projecte | Es necessita un desenvolupador/a | Projectes Next.js |
| Editor de text | Llibertat completa | Fàcil de cometre errors, sense pistes | Per a aquells que es coneixen l'estàndard de memòria |
Conclusió: El generador és la manera més ràpida d'obtenir un fitxer vàlid sense conèixer la sintaxi. El complement i el codi del projecte són pràctics quan cal canviar el fitxer juntament amb el lloc web.
El generador és una de les 87 eines de SEO gratuïtes de PromoPilot. Després de descarregar el fitxer, comproveu-lo amb un analitzador robots.txt i, per a la línia del mapa del lloc, utilitzeu el generador sitemap.xml; tots dos es tracten als articles adjacents d'aquesta secció.
Limitacions del generador: què no farà per tu
El generador no coneix l'estructura del vostre lloc web. La configuració predefinida WordPress tancarà les rutes de servei típiques, però no endevinarà que els filtres de la vostra botiga es troben a /filter/ i la cerca interna a /find/. Haureu d'introduir aquestes rutes vosaltres mateixos.
No carrega el fitxer al servidor ni comprova que el fitxer sigui accessible a /robots.txt amb un codi d'estat 200. Després de carregar-lo, obriu l'adreça en un navegador o executeu-la a través d'un analitzador sintàctic.
I no substitueix noindex: si l'objectiu és eliminar pàgines dels resultats de cerca, robots.txt no és adequat. Finalment, el fitxer no protegeix les vostres dades: és públic i qualsevol pot llegir quines seccions heu bloquejat. Els secrets s'amaguen darrere d'una contrasenya.
Quan no n'hi ha prou amb una eina gratuïta?
Generar un fitxer triga cinc minuts. Decidir què bloquejar en un lloc amb milers de pàgines és molta feina. Necessiteu un especialista si:
- La botiga té centenars de combinacions de filtres i algunes d'elles generen trànsit;
- el lloc és multilingüe, en subdominis o amb carpetes separades per a idiomes;
- Després d'editar robots.txt, el trànsit va baixar i no està clar quina regla és la culpable;
- Cal alinear robots.txt, metaetiquetes, fitxer canònic i mapa del lloc en un sol sistema.
Què puc fer pel vostre lloc web?
Em dic Valeriy Danyuk, sóc desenvolupador i especialista en SEO amb 12 anys d'experiència i més de 200 clients. Un fitxer robots.txt adequat forma part de cada lloc web que creo.
SEO i promoció
- Auditoria SEO clau en mà: robots.txt, noindex, canonical i sitemap com un sistema unificat, no un conjunt de regles aleatòries.
- Un blog de SEO basat en intel·ligència artificial que genera contactes orgànics.
- Un lloc web multilingüe sense traductor, on robots.txt i el mapa del lloc han de tenir en compte tots els idiomes.
Llocs web i botigues en línia
- Botiga en línia WooCommerce: més de 40 plantilles, 299 € — amb robots.txt per al carretó de la compra, filtres i pagament.
- Un lloc web a 1001site, on el mapa del lloc i la indexació es configuren automàticament. En què es diferencia això d'un creador amb una quota de subscripció? Tilda vs. anàlisi de llocs web amb tecnologia d'IA.
CRM, comptabilitat i automatització
- Un sistema de comptabilitat mensual per a una botiga en línia: un projecte per a una empresa de la República Txeca.
- QuestFlow és un creador SaaS Telegram amb IA.
Més informació al portafoli. No saps què tractar? Envia'm l'adreça del teu lloc web a Telegram; et suggeriré regles per a la teva estructura.
Resultat
- El generador de robots.txt en línia crea un fitxer correcte en cinc minuts: configuració predefinida, rutes, mapa del lloc i indicadors.
- Tanqueu el tauler d'administració, la paperera de reciclatge, la cerca i les carpetes de servei; no tanqueu CSS, JS, el catàleg ni el bloc.
- robots.txt no elimina pàgines de l'índex; per això serveix
noindex. - Una estructura complexa, filtres i idiomes són motius per confiar la configuració a un especialista o crear un lloc web a 1001site, on la indexació es configura de fàbrica.
Crea el teu propi fitxer robots.txt ara mateix amb el generador gratuït de robots.txt i, si tens cap pregunta sobre les regles, escriu-me a Telegram.
Fonts
- Pàgina del generador de robots.txt de PromoPilot: configuració, configuracions predefinides i preguntes de la pàgina.
- Google Search Central: com crear i enviar un fitxer Robots.txt.
- Documentació Next.js: fitxer de metadades dels robots.
