Stručná odpověď: Chcete-li vytvořit soubor robots.txt online, otevřete generátor souborů robots.txt PromoPilot, vyberte předvolbu (Vlastní, Povolit vše, Zakázat vše, WordPress, Laravel nebo Next.js), zadejte cesty pro Disallow a Allow, zadejte adresu webu pro řádek Sitemap a volitelně zaškrtněte políčko Crawl-delay nebo block AI crawlers. Dokončený soubor se zobrazí vpravo – můžete si jej zkopírovat nebo stáhnout. Je to zdarma a nevyžaduje žádnou registraci.
Píšu soubor robots.txt pro každý nový web a vím, jak snadné je ručně udělat chyby: mezera navíc, zapomenuté lomítko, pravidlo mimo blok. Nástroj pro tvorbu souborů robots.txt tento problém eliminuje – přemýšlíte o tom, co zavřít, ne o syntaxi. Níže si vysvětlíme, jak jej používat, co zavřít a kam umístit hotový soubor.
Co dělá generátor souborů robots.txt?
Generátor je spíše formulář než textový editor. Vyberete nastavení a nástroj je sestaví do platného souboru a zobrazí ho v živém náhledu.
| Nastavení | Jaké sady | Proč tohle web potřebuje? |
|---|---|---|
| Přednastavení | Vlastní, Povolit vše, Zakázat vše, WordPress, Laravel, Next.js | Připravený výchozí bod pro váš motor |
| URL adresa webových stránek | Adresa pro řádek Sitemap | Roboti si sami najdou mapu stránek |
| Zakázat cesty | Sekce, které se nemají skenovat, jedna na řádek | Robot neztrácí čas v administračním panelu a na servisních stránkách. |
| Povolit cesty | Výjimky v uzavřených úsecích | Otevřete požadovaný soubor v uzavřené složce |
| Zpoždění procházení (10 s) | Pauza mezi požadavky robotů | Odlehčení slabého serveru pro roboty, kteří to berou v úvahu |
| Blokování robotů s umělou inteligencí | Ban pro GPTBot, Claude a další AI boty | Ovládejte, kdo váš obsah používá |
| Náhled, kopírování, stažení | Hotový soubor robots.txt | Můžete jej okamžitě nahrát na server. |
Je důležité pochopit omezení: generátor soubor vytvoří, ale nekontroluje existující. Pokud již máte soubor robots.txt a chcete v něm najít chyby, musíte soubor robots.txt analyzovat – tomu je věnován článek v další části.
Jak vytvořit soubor robots.txt online?
- Otevřete generátor souborů robots.txt.
- Vyberte předvolbu pro váš engine. Pokud váš engine není v seznamu, zvolte možnost „Vlastní“.
- Zadejte adresu webu —
https://example.com. Tím se vytvoří řádekSitemap. - Přidejte Disallow paths (Zakázat cesty), jeden na řádek:
/admin/,/tmp/,/search/. - V případě potřeby přidejte možnost Povolit výjimky uvnitř omezených složek, například
/uploads/images/. - Zaškrtněte políčka: Mapa stránek, Zpoždění procházení, Blokovat prohledávače s umělou inteligencí.
- Zkopírujte nebo stáhněte soubor a nahrajte ho do kořenového adresáře webu.
Na levé straně stránky se nachází nastavení a na pravé straně je živý náhled souboru s tlačítky „Kopírovat“ a „Stáhnout robots.txt“.
Soubor musí být umístěn výhradně v kořenovém adresáři domény: https://example.com/robots.txt. Roboty jej nenajdou ve složce /blog/robots.txt ani v jiné subdoméně – každá subdoména má svůj vlastní soubor robots.txt.
Kam přesně nahrát stažený soubor, závisí na platformě:
- Běžný hosting - přes správce souborů panelu nebo FTP do složky, kde se nachází hlavní stránka (často
public_htmlnebowww). - WordPress — pokud neexistuje fyzický soubor, engine zobrazí virtuální soubor robots.txt. Nahrání souboru do kořenového adresáře jej nahradí; druhou možností je použití editoru souborů v SEO pluginu.
- Next.js a další frameworky – soubor je umístěn ve
publicsložce nebo vygenerován z kódu projektu, aby se při dalším nasazení neztratil. - Tvůrci webových stránek – soubor se obvykle upravuje v nastavení SEO, nikoli se nahrává ručně.
Soubor musí mít název robots.txt malými písmeny a musí být uložen v kódování UTF-8 jako prostý text. Po stažení jej otevřete v prohlížeči: pokud vidíte požadovaný text, je vše na svém místě.
Co by mělo a nemělo být v souboru robots.txt uzavřeno?
Hlavní princip: zavírejte vše, co nepřidává hodnotu vyhledávání a plýtvá robotem časem. Nezavírejte nic, co je pro robota nezbytné k pochopení stránky.
Obvykle zavřeno:
- administrátorský panel a osobní účet:
/admin/,/wp-admin/,/account/; - košík a pokladna:
/cart/,/checkout/; - interní vyhledávání:
/search/,/?s=; - servisní a dočasné složky:
/tmp/,/cgi-bin/; - Nekonečné kombinace filtrů a možností řazení – skvělé, jen pokud pro požadované filtry existují samostatné vstupní stránky.
Nikdy nezavírejte:
- CSS, JavaScript a obrázky – bez nich Google neuvidí stránku tak, jak by ji viděl člověk;
- katalog, blog, karty produktů a vstupní stránky;
- stránky, které chcete z indexu odstranit - k tomu potřebujete
noindexa robot ho musí být schopen přečíst.
Zde je soubor, který získáte pro typický obchod WordPress s WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Ohledně flagů. Google nezohledňuje zpoždění procházení – povolte ho pouze v případě, že váš server trpí jinými boty. Blokování robotů s umělou inteligencí je obchodní rozhodnutí: pokud chcete, aby se o vás ChatGPT, Gemini a Perplexity dozvěděly a doporučily vás, neblokujte jim přístup.
Dalším praktickým bodem je testovací verze webu. Pro testovací kopii použijte předvolbu „Zakázat vše“, ale nezapomeňte soubor po spuštění nahradit: zapomenutý Disallow: / je to, co nejčastěji snižuje návštěvnost nových webů.
Porovnání: Generátor PromoPilot a další způsoby, jak vytvořit soubor Robots.txt
| Cesta | Co je zdarma? | Omezení | Pro koho je to vhodné? |
|---|---|---|---|
| PromoPilot — Generátor souborů Robots.txt | Předvolby, Povolení a Zakázání, Mapa stránek, Zpoždění procházení, Blokování botů umělou inteligencí, Stahování | Soubor si musíte nahrát na server sami. | Pro začátečníky a všechny, kteří si nechtějí pamatovat syntaxi |
| Editor v SEO pluginu WordPress (např. Yoast SEO) | Úprava souboru přímo z administračního panelu | Pouze pro WordPress si syntaxi píšete sami | Pro majitele webových stránek WordPress |
| Soubor robotů v Next.js | Soubor robots.txt je generován z kódu projektu | Hledá se vývojář | Projekty Next.js |
| Textový editor | Úplná svoboda | Snadno se dělají chyby, žádné indicie | Pro ty, kteří znají standard nazpaměť |
Závěr: Generátor je nejrychlejší způsob, jak získat platný soubor bez znalosti syntaxe. Plugin a kód projektu jsou praktické, když je třeba soubor změnit spolu s webovou stránkou.
Generátor je jedním z 87 bezplatných SEO nástrojů PromoPilotu. Po stažení souboru jej zkontrolujte analyzátorem robots.txt a pro řádek souboru sitemap použijte generátor sitemap.xml – obojí je popsáno v sousedních článcích v této sekci.
Omezení generátoru: Co pro vás neudělá
Generátor nezná strukturu vašeho webu. Přednastavení WordPress uzavře typické cesty služeb, ale neuhádne, že filtry vašeho obchodu se nacházejí v /filter/ a interní vyhledávání v /find/. Tyto cesty budete muset zadat sami.
Nenahrává soubor na server ani nekontroluje, zda je soubor dostupný v adresáři /robots.txt se stavovým kódem 200. Po nahrání otevřete adresu v prohlížeči nebo ji spusťte přes parser.
A nenahrazuje noindex: pokud je cílem odstranit stránky z výsledků vyhledávání, soubor robots.txt není vhodný. A konečně, soubor nechrání vaše data: je veřejný a kdokoli si může přečíst, které sekce jste uzamkli. Tajemství jsou skryta za heslem.
Kdy bezplatný nástroj nestačí?
Vygenerování souboru trvá pět minut. Rozhodnutí, co uzamknout na webu s tisíci stránkami, je spousta práce. Potřebujete specialistu, pokud:
- Obchod má stovky kombinací filtrů a některé z nich generují návštěvnost;
- web je vícejazyčný, na subdoménách nebo se samostatnými složkami pro jazyky;
- Po úpravě souboru robots.txt klesla návštěvnost a není jasné, které pravidlo je za to viníkem;
- Musíte sladit soubor robots.txt, meta tagy, canonical a mapu stránek do jednoho systému.
Co mohu udělat pro váš web?
Jmenuji se Valerij Danjuk, jsem vývojář a SEO specialista s 12 lety zkušeností a více než 200 klienty. Součástí každého webu, který vytvářím, je řádný soubor robots.txt.
SEO a propagace
- SEO audit na klíč: robots.txt, noindex, canonical a sitemap jako jednotný systém, nikoli soubor náhodných pravidel.
- SEO blog s umělou inteligencí, který generuje organické leady.
- Vícejazyčný web bez překladače – kde soubory robots.txt a mapa stránek musí zohledňovat všechny jazyky.
Webové stránky a internetové obchody
- Internetový obchod WooCommerce: 40+ šablon, 299 € — s robots.txt pro košík, filtry a pokladnu.
- Webová stránka na 1001site, kde se mapa stránek a indexování konfigurují automaticky. Jak se to liší od nástroje pro tvorbu webů s předplatným? Analýza webových stránek pomocí Tildy vs. analýza webových stránek s využitím umělé inteligence.
CRM, účetnictví a automatizace
- Měsíční účetní systém pro internetový obchod – projekt pro firmu z České republiky.
- QuestFlow je SaaS nástroj Telegram botů s umělou inteligencí.
Více v portfoliu. Nejste si jisti, o čem psát? Pošlete mi adresu vašeho webu v Telegram – navrhnu pravidla pro vaši strukturu.
Výsledek
- Online generátor souborů robots.txt vytvoří správný soubor během pěti minut: přednastavení, cesty, mapa webu, příznaky.
- Zavřete administrátorský panel, koš, složky vyhledávání a služeb; nezavírejte CSS, JS, katalog ani blog.
- Soubor robots.txt neodstraňuje stránky z indexu – k tomu slouží
noindex. - Složitá struktura, filtry a jazyky jsou důvodem, proč svěřit nastavení specialistovi nebo vytvořit web na 1001site, kde je indexování nakonfigurováno ihned po instalaci.
Vytvořte si vlastní soubor robots.txt hned teď pomocí bezplatného generátoru souborů robots.txt a pokud máte jakékoli dotazy ohledně pravidel, napište mi na Telegram.
Zdroje
- Stránka s nástrojem generátoru robots.txt od PromoPilotu – nastavení, předvolby a otázky týkající se stránky.
- Centrum vyhledávání Google - Jak vytvořit a odeslat soubor Robots.txt.
- Dokumentace Next.js - soubor metadat robotů.
