Kontrola souboru robots.txt online: jak najít chyby, které skrývají váš web před vyhledávači

Stručná odpověď: Chcete-li zkontrolovat soubor robots.txt online, zadejte svou doménu do nástroje pro analýzu robots.txt od PromoPilotu a klikněte na tlačítko „Analyzovat“. Nástroj automaticky stáhne soubor, analyzuje všechny direktivy (Allow, Disallow, Crawl-delay, Sitemap), zobrazí bloky User-Agent a roboty, na které cílí, vyhledá syntaktické chyby a riziková pravidla, zkontroluje dostupnost kritických URL adres a poskytne doporučení. Je to zdarma a nevyžaduje žádnou registraci.

Nejdražší řádek, na který jsem kdy narazil v souboru robots.txt někoho jiného, byl „ Disallow: / “, pozůstatek z vývoje. Web byl spuštěn, reklama byla zaplacena, ale organická návštěvnost zůstala tři týdny nulová, protože robotům byla zablokována návštěva všech stránek.

Co kontroluje analýza souboru robots.txt?

Soubor Robots.txt je krátký textový soubor v kořenovém adresáři webových stránek, ale je snadné se v něm spletit: jedno lomítko navíc změní význam pravidla. Nástroj soubor čte stejným způsobem jako vyhledávací roboti.

Příklad výsledku z popisu nástroje: „Nalezena 2 potenciálně riziková pravidla Disallow a 1 chybějící direktiva Sitemap.“ Toto jsou typy nálezů, které si zaslouží zvláštní pozornost.

Jak zkontrolovat soubor robots.txt online?

1. Otevřete nástroj. Analýza souboru Robots.txt funguje v prohlížeči.
2. Zadejte doménu: https://example.com. Soubor se automaticky stáhne do /robots.txt.
3. Klikněte na tlačítko „Analyzovat“.
4. Projděte si seznam direktiv pro bloky uživatelského agenta.
5. Analyzujte chyby a riskantní pravidla - to je v reportu to hlavní.
6. Opravte soubor na serveru nebo v nastavení CMS a spusťte kontrolu znovu.

Stránka s nástrojem: pole adresy, tlačítko „Analyzovat“ a popis – co se kontroluje, scénáře a omezení.

Soubor robots.txt zkontrolujte ve dvou zásadních situacích: před spuštěním nové verze webu a po jakémkoli přesunu. V takovém případě je nejpravděpodobnější, že se testovací omezení přenesou do produkční verze. Je také užitečné zkontrolovat soubor robots.txt vašeho konkurenta: omezené sekce ukazují, které stránky považují za servisní a jak je strukturován jejich adresář.

Jak číst výsledek a co nejdříve opravit?

Přejděte od pravidel, která se vztahují na celý web, ke kosmetice.

1. Disallow: / v bloku User-agent: *. Celý web je uzavřen. Pokud se nejedná o testovací verzi, tento řádek okamžitě odstraňte.
2. Důležité sekce jsou uzavřeny. Disallow: /catalog zavře nejen adresář, ale i cokoli, co začíná těmito znaky, například /catalog-sale/. Pravidla jsou založena na začátku cesty a rozlišují se velká a malá písmena.
3. CSS, JS a obrázky jsou blokovány. Pravidlo jako Disallow: /wp-content/ brání Google v zobrazení stránky jako člověk. Prohledávač by měl načíst styly a skripty.
4. Neexistuje řádek s mapou webu nebo vede na chybu 404. Uveďte prosím celou adresu mapy webu spolu s protokolem.
5. Syntaxe. Překlepy v názvech direktiv, pravidla mimo blok User-Agent a prázdné řádky v bloku – roboti ignorují neplatné řádky a pravidlo tiše selže.
6. Direktivy, které Google nepodporuje. Google ignoruje Crawl-delay a Google nepodporuje Noindex v souboru robots.txt. Pokud se na ně spoléháte, toto pravidlo neplatí.

Příklad správného souboru pro web WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Administrační panel, interní vyhledávání a stránky s nástroji obchodu jsou zavřené, obslužná rutina AJAX (bez které se části webu přeruší) je povolena a je zadán soubor sitemap. Všechno ostatní je ve výchozím nastavení povoleno.

Jak poznáte, že je konkrétní URL adresa otevřená, pokud existuje více pravidel? Google použije nejkonkrétnější pravidlo – to s nejdelší cestou. Pokud soubor obsahuje Disallow: /blog/, tak Allow: /blog/seo/, pak je stránka /blog/seo/proverka/ otevřená a /blog/news/ je uzavřená. Pokud mají cesty stejnou délku, platí pravidlo Allow. Hvězdička * představuje libovolnou posloupnost znaků a $ označuje konec URL adresy: Disallow: /*.pdf$ zavře všechny soubory PDF, ale ne stránku /pdf-guide/.

Dalším častým zjištěním je více bloků pro stejného robota nebo společný blok, který se překrývá se samostatným blokem. Pokud soubor obsahuje User-agent: Google bot, Google bot přečte pouze tento blok a zcela ignoruje pravidla v User-agent: *. Proto bude nutné ve svém bloku duplikovat všechna potřebná omezení.

Samostatným tématem pro rok 2026 jsou roboti s umělou inteligencí (AI crawlery). Blok User-agent: GPTBot s Disallow: / brání OpenAI v procházení webu. Toto je vaše rozhodnutí, ale mějte na paměti: pokud je web pro roboty s umělou inteligencí uzavřen, je pro asistenty obtížnější jej doporučit.

Srovnání: Analýza souboru robots.txt od PromoPilot a alternativy

Závěr: Search Console ukazuje, jak Google vidí soubor, ale pouze pro váš web. Online analýza funguje s jakoukoli doménou a vysvětluje, co je špatně.

Analýza souboru robots.txt je jedním z 87 bezplatných SEO nástrojů PromoPilot. Pokud soubor robots.txt nemáte nebo je snazší jej přepsat od nuly, podívejte se na související článek v sekci generátoru souborů robots.txt – najdete tam vizuální nástroj pro vytvoření souboru. A pro kontrolu samotného souboru sitemap je k dispozici samostatný nástroj pro analýzu souboru sitemap.xml.

Omezení: Co kontrola souborů robots.txt nenahradí?

Tento nástroj kontroluje pouze soubor robots.txt a nenahrazuje audit meta tagů robots na úrovni stránky. Stránka může být otevřená v souboru robots.txt, ale blokována meta tagem noindex nebo záhlavím X-Robots-Tag. Taková omezení by měla být odhalena provedením kontroly stránky nebo úplného auditu.

Různé vyhledávače interpretují nestandardní direktivy odlišně. Co jeden vyhledávač podporuje, jiný tiše ignoruje. Spolehněte se na standardní Sitemap User-agent, Allow, Disallow a Sitemap – všechny hlavní vyhledávače jim rozumí.

A pamatujte: soubor robots.txt není bezpečnostní. Zdvořile žádá roboty, aby nevstupovali, ale neblokuje přístup. Administrační panel a osobní údaje jsou chráněny heslem, nikoli řádkem „Zakázat“. Soubor robots.txt je navíc přístupný všem: uvedením „tajných“ sekcí v něm je vystavíte zvědavcům.

Kdy bezplatný nástroj nestačí?

Nalezení riskantního pravidla je polovina úspěchu. Rozhodnutí, které sekce uzavřít, je již strategií. Potřebujete specialistu, pokud:

• Obchod má tisíce stránek filtrů a možností řazení a není jasné, které z nich zavřít;
• Stránka se nezobrazila ve výsledcích vyhledávání, ale soubor robots.txt „zdá se být v pořádku“;
• Soubor robots.txt je generován systémem pro správu obsahu (CMS) nebo pluginem a vaše úpravy jsou přepsány;
• Musíme se rozhodnout, zda povolíme roboty s umělou inteligencí a jak to ovlivní viditelnost v asistentech.

Co mohu udělat pro váš web?

Jmenuji se Valerij Danjuk a jsem vývojář a SEO specialista s 12 lety zkušeností a více než 200 klienty. Soubory Robots.txt, meta tagy a soubory Sitemap jsou první věci, které v každém auditu kontroluji.

SEO a propagace

• SEO audit na klíč: robots.txt, noindex, canonical, sitemap a real indexing – s opravami.
• Autoblog s AI agenty je redakční tým bez lidské přítomnosti, který publikuje články a okamžitě je otevírá k indexování.
• GEO: Jak se hotel objevil v ChatGPT, Gemini a Perplexity – případová studie o viditelnosti v odpovědích asistentů s umělou inteligencí.

Webové stránky a internetové obchody

• Webová stránka WordPress s AI asistentem za 299 € – s řádným souborem robots.txt a mapou stránek od prvního dne.
• Web na 1001site: mapa stránek, strukturovaná data a indexování pomocí AI-botů jsou konfigurovány automaticky.

CRM, účetnictví a automatizace

• ERP, webové stránky a Telegram bot s umělou inteligencí pro demontáž automobilů za 6 dní.
• Dropshippingová platforma s partnerskými obchody — kde každý obchod vyžaduje vlastní platný soubor robots.txt.

Všechny případy jsou v portfoliu. Pošlete mi svou adresu na Telegram a já si přečtu váš soubor robots.txt a dám vám vědět, jestli jsem uzavřel nějaké nepotřebné sekce.

Výsledek

1. Kontrola souboru robots.txt online během chvilky odhalí pravidla, která skrývají web nebo jeho sekce před roboty.
2. Oprava v pořadí: Disallow: / → uzavřené sekce → CSS a JS → Mapa webu → syntaxe.
3. Disallow neodstraní stránku z indexu; to vyžaduje, aby otevřená stránka měla noindex.
4. Pokud je soubor robots.txt vygenerován systémem pro správu obsahu (CMS) a úpravy se neuloží, je jednodušší svěřit nastavení specialistovi nebo přejít na 1001site, kde je indexování nakonfigurováno ihned po instalaci.

Zkontrolujte si soubor hned teď: spusťte bezplatnou analýzu souboru robots.txt a pokud najdete nějaká riziková pravidla, napište mi na Telegram.

Zdroje

• Stránka s nástrojem pro analýzu souboru robots.txt od PromoPilotu – kontroly, ukázkové výsledky a otázky k stránce.
• Centrum vyhledávání Google – Úvod do souboru robots.txt a podporovaných direktiv.
• Nápověda Google Search Console – Zpráva o souboru Robots.txt.