Spletni generator robots.txt: kako ustvariti pravilno datoteko v 5 minutah brez napak

Kratek odgovor: če želite ustvariti datoteko robots.txt na spletu, odprite generator datotek robots.txt PromoPilot, izberite prednastavitev (Po meri, Dovoli vse, Zavrni vse, WordPress, Laravel ali Next.js), vnesite poti za Disallow in Allow, vnesite spletni naslov za vrstico Sitemap in po želji označite možnost Crawl-delay ali block AI crawlers. Dokončana datoteka se bo prikazala na desni – lahko jo kopirate ali prenesete. Je brezplačna in ne zahteva registracije.

Za vsako novo spletno mesto pišem datoteko robots.txt in vem, kako enostavno je ročno narediti napake: dodaten presledek, pozabljena poševnica, pravilo zunaj bloka. Graditelj datotek robots.txt odpravlja to težavo – razmišljate o tem, kaj zapreti, ne o sintaksi. Spodaj bomo razložili, kako ga uporabljati, kaj zapreti in kam postaviti končano datoteko.

Kaj počne generator datotek robots.txt?

Generator je obrazec in ne urejevalnik besedil. Izberete nastavitve, orodje pa jih sestavi v veljavno datoteko in jo prikaže v predogledu v živo.

Pomembno je razumeti omejitev: generator ustvari datoteko, vendar ne preveri obstoječe. Če že imate datoteko robots.txt in želite v njej najti napake, morate analizirati datoteko robots.txt – temu je posvečen članek v naslednjem razdelku.

Kako ustvariti datoteko robots.txt na spletu?

1. Odprite generator datotek robots.txt.
2. Izberite prednastavitev za svoj motor. Če vašega motorja ni na seznamu, izberite»Po meri«.
3. Vnesite naslov spletnega mesta – https://example.com. S tem boste ustvarili vrstico Sitemap.
4. Dodajte»Prepovedane poti«, eno na vrstico: /admin/, /tmp/, /search/.
5. Po potrebi dodajte možnost Dovoli izjeme znotraj omejenih map, kot je /uploads/images/.
6. Označite polja: Zemljevid spletnega mesta, Zakasnitev iskanja, blokiraj pajke z umetno inteligenco.
7. Kopirajte ali prenesite datoteko in jo naložite v koren spletnega mesta.

Na levi strani so nastavitve, na desni pa predogled datoteke v živo z gumboma»Kopiraj« in»Prenesi robots.txt«.

Datoteka mora biti strogo v korenu domene: https://example.com/robots.txt. Roboti je ne bodo našli v mapi /blog/robots.txt ali na drugi poddomeni – vsaka poddomena ima svojo datoteko robots.txt.

Kam točno naložiti preneseno datoteko, je odvisno od platforme:

• Redno gostovanje - prek upravitelja datotek panela ali FTP-ja v mapo, kjer se nahaja glavna stran (pogosto public_html ali www).
• WordPress – če ni fizične datoteke, iskalnik postreže z virtualno datoteko robots.txt. Nalaganje datoteke v korensko mapo jo nadomesti; druga možnost je uporaba urejevalnika datotek v vtičniku SEO.
• Next.js in drugi ogrodji – datoteka se shrani v public mapo ali pa se ustvari iz kode projekta, da se med naslednjo namestitvijo ne izgubi.
• Graditelji spletnih strani - datoteka se običajno uredi v nastavitvah SEO in ne naloži ročno.

Datoteka mora imeti ime robots.txt z malimi črkami in biti shranjena v kodiranju UTF-8 kot navadno besedilo. Po prenosu jo odprite v brskalniku: če vidite svoje besedilo, je vse na svojem mestu.

Kaj naj bi bilo in česa ne bi smelo biti zaprto v datoteki robots.txt?

Glavno načelo: zaprite vse, kar ne dodaja vrednosti iskanju in robotu krade čas. Ne zaprite ničesar, kar je bistveno za razumevanje strani.

Običajno zaprto:

• skrbniška plošča in osebni račun: /admin/, /wp-admin/, /account/;
• košarica in blagajna: /cart/, /checkout/;
• notranje iskanje: /search/, /?s=;
• storitvene in začasne mape: /tmp/, /cgi-bin/;
• Neskončne kombinacije filtrov in možnosti razvrščanja - super, le če obstajajo ločene ciljne strani za zahtevane filtre.

Nikoli ne zapri:

• CSS, JavaScript in slike – brez njih Google strani ne bo videl tako, kot bi jo videl človek;
• katalog, blog, kartice izdelkov in ciljne strani;
• strani, ki jih želite odstraniti iz indeksa - za to potrebujete noindex, robot pa ga mora znati prebrati.

Tukaj je datoteka, ki jo boste dobili za tipično trgovino WordPress z WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

Glede zastavic. Google ne upošteva zakasnitve iskanja – omogočite ga le, če vaš strežnik trpi zaradi drugih botov. Blokiranje pajkov z umetno inteligenco je poslovna odločitev: če želite, da ChatGPT, Gemini in Perplexity vedo za vas in vas priporočajo, jim ne blokirajte dostopa.

Druga praktična točka je testna različica spletnega mesta. Za testno kopijo uporabite prednastavitev»Zavrni vse«, vendar ob zagonu obvezno zamenjajte datoteko: pozabljena Disallow: / je tisto, kar najpogosteje zmanjša promet na novih spletnih mestih.

Primerjava: Generator PromoPilot in drugi načini za ustvarjanje datoteke Robots.txt

Zaključek: Generator je najhitrejši način za pridobitev veljavne datoteke brez poznavanja sintakse. Vtičnik in koda projekta sta priročna, kadar je treba datoteko spremeniti skupaj s spletnim mestom.

Generator je eno od 87 brezplačnih orodij za SEO PromoPilot. Po prenosu datoteke jo preverite z analizatorjem robots.txt, za vrstico zemljevida spletnega mesta pa uporabite generator sitemap.xml – oba sta obravnavana v sosednjih člankih v tem razdelku.

Omejitve generatorja: Česa vam ne bo koristil

Generator ne pozna strukture vašega spletnega mesta. Prednastavitev WordPress bo zaprla tipične poti storitev, vendar ne bo uganila, da se filtri vaše trgovine nahajajo v /filter/ in notranje iskanje v /find/. Te poti boste morali vnesti sami.

Datoteke ne naloži na strežnik in ne preveri, ali je datoteka dostopna na naslovu /robots.txt s statusno kodo 200. Po nalaganju odprite naslov v brskalniku ali ga zaženite skozi razčlenjevalnik.

In ne nadomešča noindex: če je cilj odstraniti strani iz rezultatov iskanja, robots.txt ni primeren. Nenazadnje datoteka ne ščiti vaših podatkov: je javna in vsakdo lahko prebere, katere dele ste zaklenili. Skrivnosti so skrite za geslom.

Kdaj brezplačno orodje ni dovolj?

Ustvarjanje datoteke traja pet minut. Odločitev, kaj zakleniti na spletnem mestu s tisoči strani, je veliko dela. Potrebujete strokovnjaka, če:

• Trgovina ima na stotine kombinacij filtrov, nekatere od njih pa ustvarjajo promet;
• spletno mesto je večjezično, na poddomenah ali z ločenimi mapami za jezike;
• Po urejanju datoteke robots.txt se je promet zmanjšal in ni jasno, katero pravilo je krivo;
• Datoteko robots.txt, metaoznake, canonical in kazalo spletnega mesta morate uskladiti v en sistem.

Kaj lahko storim za vašo spletno stran?

Moje ime je Valeriy Danyuk, sem razvijalec in SEO specialist z 12 leti izkušenj in več kot 200 strankami. Pravilna datoteka robots.txt je del vsakega spletnega mesta, ki ga zgradim.

SEO in promocija

• SEO revizija na ključ: robots.txt, noindex, canonical in sitemap kot enoten sistem, ne niz naključnih pravil.
• SEO blog, ki ga poganja umetna inteligenca in prinaša organske potencialne stranke.
• Večjezično spletno mesto brez prevajalnika – kjer morata datoteka robots.txt in zemljevid spletnega mesta upoštevati vse jezike.

Spletne strani in spletne trgovine

• Spletna trgovina WooCommerce: več kot 40 predlog, 299 € – z datoteko robots.txt za košarico, filtre in blagajno.
• Spletna stran na 1001site, kjer se zemljevid spletnega mesta in indeksiranje konfigurirata samodejno. Kakšna je razlika med graditeljem spletnih strani in naročnino? Tilda v primerjavi z analizo spletnih strani, ki jo poganja umetna inteligenca.

CRM, računovodstvo in avtomatizacija

• Mesečni računovodski sistem za spletno trgovino – projekt za podjetje iz Češke.
• QuestFlow je graditelj SaaS Telegram bote z umetno inteligenco.

Več v portfelju. Niste prepričani, kaj bi pokrili? Pošljite mi naslov svojega spletnega mesta v Telegram – predlagal bom pravila za vašo strukturo.

Rezultat

1. Spletni generator robots.txt ustvari pravilno datoteko v petih minutah: prednastavitev, poti, zemljevid spletnega mesta, zastavice.
2. Zaprite skrbniško ploščo, koš za smeti, mape iskanja in storitev; ne zapirajte CSS, JS, kataloga ali spletnega dnevnika.
3. Datoteka robots.txt ne odstrani strani iz indeksa – za to je namenjena noindex.
4. Kompleksna struktura, filtri in jeziki so razlog, da nastavitev zaupate strokovnjaku ali pa spletno mesto zgradite na 1001site, kjer je indeksiranje konfigurirano že vnaprej.

Ustvarite svojo datoteko robots.txt zdaj z brezplačnim generatorjem datotek robots.txt in če imate kakršna koli vprašanja o pravilih, mi pišite na Telegram.

Viri

• Stran z orodjem za generiranje datotek robots.txt v PromoPilotu – nastavitve, prednastavitve in vprašanja o strani.
• Google Search Central - Kako ustvariti in poslati datoteko Robots.txt.
• Dokumentacija Next.js - datoteka z metapodatki robotov.