Mallonga respondo: por krei dosieron robots.txt interrete, malfermu la generilon PromoPilot robots.txt, elektu antaŭagordon (Propra, Permesi ĉion, Malpermesi ĉion, WordPress, Laravel, aŭ Next.js), enigu la vojojn por Malpermesi kaj Permesi, enigu la retejan adreson por la linio Sitemap, kaj laŭvole marku Crawl-delay aŭ block AI crawlers. La finita dosiero aperos dekstre — vi povas kopii aŭ elŝuti ĝin. Ĝi estas senpaga kaj ne postulas registriĝon.
Mi skribas robots.txt por ĉiu nova retejo kaj scias kiel facile estas fari erarojn permane: ekstra spaco, forgesita oblikva streko, regulo ekster bloko. La robots.txt-konstruilo forigas ĉi tiun problemon — vi pensas pri kion fermi, ne la sintakso. Sube, ni klarigos kiel uzi ĝin, kion fermi, kaj kie meti la pretan dosieron.
Kion faras la robots.txt-generilo?
La generatoro estas formularo anstataŭ tekstredaktilo. Vi elektas la agordojn, kaj la ilo kunmetas ilin en validan dosieron kaj montras ĝin en viva antaŭvido.
| Agordado | Kio aroj | Kial la retejo bezonas ĉi tion? |
|---|---|---|
| Antaŭagordita | Propra, Permesi Ĉion, Malakcepti Ĉion, WordPress, Laravel, Next.js | Preta deirpunkto por via motoro |
| Reteja URL | Adreso por linio de Sitemap | Robotoj mem trovas la retejmapon |
| Malpermesi Vojojn | Sekcioj ne skanendaj, unu por linio | La roboto ne malŝparas tempon sur la administra panelo kaj servaj paĝoj. |
| Permesi Vojojn | Esceptoj ene de fermitaj sekcioj | Malfermu la deziratan dosieron en fermita dosierujo |
| Rampa prokrasto (10 sekundoj) | Paŭzo inter robotaj petoj | Malpezigi la ŝarĝon sur malforta servilo por robotoj kiuj konsideras ĝin |
| Blokado de AI-rampiloj | Malpermeso por GPTBot, Claude, kaj aliaj AI-robotoj | Kontrolu kiu uzas vian enhavon |
| Antaŭrigardo, kopio, elŝuto | La preta robots.txt -dosiero | Vi povas tuj alŝuti ĝin al la servilo. |
Gravas kompreni la limigon: la generatoro kreas dosieron, sed ĝi ne kontrolas ekzistantan. Se vi jam havas robots.txt-dosieron kaj volas trovi erarojn en ĝi, vi devas analizi la robots.txt-dosieron — la artikolo en la sekva sekcio estas dediĉita al tio.
Kiel krei robots.txt-dosieron interrete?
- Malfermu la robots.txt-generilon.
- Elektu antaŭagordon por via motoro. Se via motoro ne estas listigita, elektu "Propra".
- Enigu la retejan adreson —
https://example.com. Tio kreos linion por laSitemap. - Aldonu Malpermesajn vojojn, unu por linio:
/admin/,/tmp/,/search/. - Se necese, aldonu Permesi esceptojn ene de limigitaj dosierujoj, kiel ekzemple
/uploads/images/. - Marku la skatolojn: Mapo de la retejo, Rampa prokrasto, bloki artefaritan inteligentecan rampilon.
- Kopiu aŭ elŝutu la dosieron kaj alŝutu ĝin al la radiko de la retejo.
Maldekstre de la paĝo estas la agordoj, kaj dekstre estas antaŭrigardo de la dosiero per la butonoj "Kopii" kaj "Elŝuti robots.txt".
La dosiero devas troviĝi strikte ĉe la radiko de la domajno: https://example.com/robots.txt. Robotoj ne trovos ĝin en /blog/robots.txt aŭ sur alia subdomajno — ĉiu subdomajno havas sian propran robots.txt-dosieron.
Kie precize alŝuti la elŝutitan dosieron dependas de la platformo:
- Regula gastigado - per la dosieradministrilo aŭ FTP de la panelo al la dosierujo kie troviĝas la ĉefa paĝo (ofte
public_htmlaŭwww). - WordPress — se ne ekzistas fizika dosiero, la motoro servas virtualan robots.txt-dosieron. Alŝuti la dosieron al la radiko anstataŭigas ĝin; la dua eblo estas uzi la dosierredaktilon en la SEO-kromprogramo.
- Next.js kaj aliaj kadroj — la dosiero estas lokita en la
publicdosierujon aŭ generita el la projekta kodo por ke ĝi ne perdiĝu dum la sekva deplojo. - Retejkonstruiloj - la dosiero kutime estas redaktata en la SEO-agordoj anstataŭ esti alŝutita permane.
La dosiero devas esti nomita robots.txt minuskle kaj konservita en UTF-8-kodoprezento kiel simpla teksto. Post elŝuto, malfermu ĝin en via retumilo: se vi vidas vian tekston, ĉio estas en ordo.
Kio devus kaj ne devus esti fermita en robots.txt?
La ĉefa principo: fermu ĉion, kio ne aldonas valoron al serĉado kaj malŝparas la tempon de la roboto. Ne fermu ion, kio estas esenca por ke la roboto komprenu la paĝon.
Kutime fermita:
- administra panelo kaj persona konto:
/admin/,/wp-admin/,/account/; - ĉaro kaj kaso:
/cart/,/checkout/; - interna serĉo:
/search/,/?s=; - servaj kaj provizoraj dosierujoj:
/tmp/,/cgi-bin/; - Senfinaj kombinaĵoj de filtriloj kaj ordigaj ebloj - bonege, nur se ekzistas apartaj surteriĝaj paĝoj por la bezonataj filtriloj.
Neniam fermiĝu:
- CSS, JavaScript, kaj bildoj — sen ili, Google ne vidos la paĝon tiel, kiel homo;
- katalogo, blogo, produktaj kartoj kaj surteriĝaj paĝoj;
- paĝoj, kiujn vi volas forigi el la indekso - por tio vi bezonas
noindex, kaj la roboto devas povi legi ĝin.
Jen la dosiero, kiun vi ricevos por tipa WordPress butiko kun WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Pri flagoj. Google ne konsideras rampado-prokraston — nur ebligu ĝin se via servilo suferas pro aliaj robotoj. Bloki AI-rampojn estas komerca decido: se vi volas, ke ChatGPT, Gemini kaj Perplexity sciu pri vi kaj rekomendu vin, ne bloku ilian aliron.
Alia praktika punkto estas la testa versio de la retejo. Por la prepara kopio, uzu la antaŭagordon "Malpermesi Ĉion", sed nepre anstataŭigu la dosieron post lanĉo: forgesita Disallow: / estas tio, kio plej ofte reduktas trafikon al novaj retejoj.
Komparo: PromoPilot-Generilo kaj Aliaj Manieroj Krei Robots.txt
| Vojo | Kio estas senpaga? | Restriktoj | Por kiu ĝi taŭgas? |
|---|---|---|---|
| PromoPilot — Robots.txt Generilo | Antaŭagordoj, Malpermesi kaj Permesi, Mapo de la retejo, Rampa prokrasto, Blokado de artefarita inteligenteco-robotoj, Elŝuto | Vi devas mem alŝuti la dosieron al la servilo. | Por komencantoj kaj ĉiuj, kiuj ne volas memori sintakson |
| Redaktilo en WordPress SEO-kromprogramo (ekz. Yoast SEO) | Redakti dosieron rekte el la administra panelo | Nur por WordPress, vi mem skribas la sintakson | Por WordPress -retejposedantoj |
| Robota dosiero en Next.js | robots.txt estas generita el la projekta kodo | Programisto bezonata | Next.js -projektoj |
| Tekstredaktilo | Kompleta libereco | Facile erari, neniuj indicoj | Por tiuj, kiuj konas la normon parkere |
Konkludo: La generatoro estas la plej rapida maniero akiri validan dosieron sen koni la sintakson. La kromprogramo kaj projekta kodo estas oportunaj kiam la dosiero bezonas ŝanĝiĝi kune kun la retejo.
La generatoro estas unu el la 87 senpagaj SEO-iloj de PromoPilot. Post elŝuto de la dosiero, kontrolu ĝin per robots.txt-analizilo, kaj por la retejmapa linio, uzu la sitemap.xml-generatoron — ambaŭ estas kovritaj en la apudaj artikoloj en ĉi tiu sekcio.
Limigoj de Generatoro: Kion Ĝi Ne Faros por Vi
La generatoro ne konas la strukturon de via retejo. La antaŭagordo WordPress fermos la tipajn servopadojn, sed ĝi ne divenos, ke la filtriloj de via vendejo troviĝas en /filter/ kaj la interna serĉo en /find/. Vi devos mem enigi ĉi tiujn padojn.
Ĝi ne alŝutas la dosieron al la servilo nek kontrolas ĉu la dosiero estas alirebla ĉe /robots.txt kun statuskodo 200. Post la alŝuto, malfermu la adreson en retumilo aŭ ruligu ĝin per analizilo.
Kaj ĝi ne anstataŭigas noindex: se la celo estas forigi paĝojn el serĉrezultoj, robots.txt ne taŭgas. Fine, la dosiero ne protektas viajn datumojn: ĝi estas publika, kaj ĉiu povas legi, kiujn sekciojn vi ŝlosis. Sekretoj kaŝiĝas malantaŭ pasvorto.
Kiam senpaga ilo ne sufiĉas?
Generi dosieron daŭras kvin minutojn. Decidi kion ŝlosi en retejo kun miloj da paĝoj estas multe da laboro. Vi bezonas specialiston se:
- La vendejo havas centojn da filtrilkombinaĵoj, kaj kelkaj el ili generas trafikon;
- la retejo estas plurlingva, sur subdomajnoj aŭ kun apartaj dosierujoj por lingvoj;
- Post redaktado de robots.txt, la trafiko malpliiĝis, kaj ne estas klare, kiu regulo kulpas;
- Vi bezonas kunordigi robots.txt, meta-etikedojn, kanonan dosieron kaj retejmapon en unu sistemon.
Kion mi povas fari por via retejo?
Mia nomo estas Valerij Danyuk, mi estas programisto kaj SEO-specialisto kun 12 jaroj da sperto kaj pli ol 200 klientoj. Ĝusta robots.txt-dosiero estas parto de ĉiu retejo, kiun mi konstruas.
SEO kaj reklamado
- Preta SEO-audito: robots.txt, noindex, kanonika, kaj retejmapo kiel unuigita sistemo, ne aro de hazardaj reguloj.
- SEO-blogo funkciigita per artefarita inteligenteco, kiu alportas organikajn kontaktojn.
- Plurlingva retejo sen tradukilo — kie robots.txt kaj retejmapo devas konsideri ĉiujn lingvojn.
Retejoj kaj interretaj vendejoj
- Reta vendejo WooCommerce: pli ol 40 ŝablonoj, €299 — kun robots.txt por ĉaro, filtriloj kaj kaso.
- Retejo ĉe 1001site, kie la retejmapo kaj indeksado estas agorditaj aŭtomate. Kiel tio diferencas de konstruilo kun abonpago? Tilda kontraŭ reteja analizo funkciigita per artefarita inteligenteco.
CRM, kontado kaj aŭtomatigo
- Monata kontada sistemo por interreta vendejo – projekto por kompanio el Ĉeĥio.
- QuestFlow estas SaaS-konstruilo Telegram robotoj kun artefarita inteligenteco.
Pli en la portfolio. Ĉu vi ne certas, kion kovri? Sendu al mi vian retejan adreson en Telegram - mi proponos regulojn por via strukturo.
Rezulto
- La reta robots.txt-generilo kreas ĝustan dosieron en kvin minutoj: antaŭagordojn, padojn, retejmapon, flagojn.
- Fermu la administran panelon, la reciklan ujon, la serĉon kaj la servajn dosierujojn; ne fermu CSS, JS, la katalogon aŭ la blogon.
- robots.txt ne forigas paĝojn el la indekso - por tio estas
noindex. - Kompleksa strukturo, filtriloj kaj lingvoj estas kialo konfidi la agordon al specialisto aŭ konstrui retejon ĉe 1001site, kie indeksado estas agordita dekomence.
Kreu vian propran robots.txt-dosieron tuj nun uzante la senpagan robots.txt-generilon, kaj se vi havas demandojn pri la reguloj, skribu al mi per Telegram.
Fontoj
- La paĝo pri la robots.txt-generatoro de PromoPilot — agordoj, antaŭagordoj kaj paĝaj demandoj.
- Google Search Central - Kiel krei kaj sendi Robots.txt-dosieron.
- Dokumentaro Next.js - dosiero pri metadatenoj de robotoj.
