Provjera robots.txt datoteke online: kako pronaći pogreške koje skrivaju vašu web-lokaciju od tražilica

Kratak odgovor: za provjeru robots.txt datoteke online, unesite svoju domenu u PromoPilotov alat za analizu robots.txt datoteke i kliknite "Analiziraj". Alat će automatski preuzeti datoteku, analizirati sve direktive (Dopusti, Zabrani, Odgoda indeksiranja, Mapa stranice), prikazati blokove korisničkog agenta i robote na koje ciljaju, pronaći sintaktičke pogreške i rizična pravila, provjeriti dostupnost kritičnih URL-ova i dati preporuke. Besplatno je i ne zahtijeva registraciju.

Najskuplja rečenica koju sam ikada naišao u nečijoj robots.txt datoteci bila je " Disallow: / ", ostatak od razvoja. Stranica je pokrenuta, oglašavanje je plaćeno, ali organski promet je ostao na nuli tri tjedna jer je robotima bilo blokirano posjećivanje svih stranica.

Što provjerava analiza robots.txt datoteke?

Robots.txt je kratka tekstualna datoteka u korijenu web stranice, ali lako je pogriješiti: jedna dodatna kosa crta mijenja značenje pravila. Alat čita datoteku na isti način na koji to rade roboti za pretraživanje.

Primjer rezultata iz opisa alata: "Pronađena su 2 potencijalno rizična pravila Disallow i 1 nedostajuća direktiva Sitemapa." Ovo su vrste nalaza koji zaslužuju posebnu pozornost.

Kako provjeriti robots.txt datoteku online?

1. Otvorite alat. Analiza datoteke Robots.txt radi u pregledniku.
2. Unesite domenu: https://example.com. Datoteka će se automatski preuzeti u /robots.txt.
3. Kliknite "Analiziraj".
4. Pregledajte popis direktiva za blokove korisničkog agenta.
5. Analizirajte pogreške i rizična pravila - to je glavna stvar u izvješću.
6. Ispravite datoteku na poslužitelju ili u postavkama CMS-a i ponovno pokrenite provjeru.

Stranica alata: polje za adresu, gumb "Analiziraj" i opis - što se provjerava, scenariji i ograničenja.

Provjerite robots.txt datoteku u dvije bitne situacije: prije pokretanja nove verzije vaše web-lokacije i nakon bilo kakvog premještanja. Tada je najvjerojatnije da će se ograničenja testiranja prebaciti na produkcijsku verziju. Također je korisno provjeriti robots.txt datoteku vašeg konkurenta: ograničeni odjeljci pokazuju koje stranice smatraju servisnim stranicama i kako je strukturiran njihov direktorij.

Kako pročitati rezultat i što prvo ispraviti?

Prijeđite s pravila koja pokrivaju cijelu stranicu na kozmetiku.

1. Disallow: / u bloku User-agent: *. Cijela stranica je zatvorena. Ako ovo nije testna verzija, odmah uklonite ovaj redak.
2. Važni odjeljci su zatvoreni. Disallow: /catalog zatvara ne samo direktorij već i sve što počinje ovim znakovima, kao što je /catalog-sale/. Pravila se temelje na početku puta, a velika i mala slova su važna.
3. CSS, JS i slike su blokirani. Pravila poput Disallow: /wp-content/ sprječavaju Google da pregleda stranicu kao što bi je pregledao čovjek. Alat za indeksiranje trebao bi učitati stilove i skripte.
4. Nema retka s mapom web-mjesta ili vodi do greške 404. Molimo navedite punu adresu mape web-mjesta s protokolom.
5. Sintaksa. Tipografske pogreške u nazivima direktiva, pravila izvan bloka korisničkog agenta i prazni redci unutar bloka - roboti ignoriraju nevažeće retke i pravilo tiho ne uspijeva.
6. Direktive koje Google ne podržava. Google ignorira Crawl-delay, a Google ne podržava Noindex u robots.txt. Ako se oslanjate na njih, ovo pravilo se ne primjenjuje.

Primjer ispravne datoteke za WordPress stranicu:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Administratorska ploča, interno pretraživanje i stranice uslužnih programa trgovine su zatvorene, AJAX rukovatelj (bez kojeg dijelovi web-mjesta prekidaju) je omogućen i mapa web-mjesta je određena. Sve ostalo je omogućeno prema zadanim postavkama.

Kako znate je li određeni URL otvoren ako postoji više pravila? Google primjenjuje najspecifičnije pravilo - ono s najdužim putem. Ako datoteka sadrži Disallow: /blog/ i Allow: /blog/seo/, tada je stranica /blog/seo/proverka/ otvorena, a /blog/news/ je zatvorena. Ako su putovi iste duljine, pravilo allow pobjeđuje. Zvjezdica * predstavlja bilo koji niz znakova, a $ označava kraj URL-a: Disallow: /*.pdf$ zatvara sve PDF datoteke, ali ne i stranicu /pdf-guide/.

Još jedan uobičajeni nalaz su višestruki blokovi za istog robota ili zajednički blok koji se preklapa s odvojenim. Ako datoteka sadrži User-agent: Google bot, Google bot čita samo taj blok i potpuno ignorira pravila u User-agent: *. Stoga će sva potrebna ograničenja morati biti duplicirana u njegovom bloku.

Zasebna tema za 2026. godinu su AI crawleri. Blok User-agent: GPTBot s Disallow: / sprječava OpenAI da indeksira stranicu. To je vaša odluka, ali imajte na umu: ako je stranica zatvorena za AI botove, asistentima je teže preporučiti je.

Usporedba: Analiza i alternative datoteke robots.txt za PromoPilot

Zaključak: Search Console prikazuje kako Google vidi datoteku, ali samo za vašu web-lokaciju. Online analiza funkcionira s bilo kojom domenom i objašnjava što nije u redu.

Analiza datoteke Robots.txt jedan je od 87 besplatnih SEO alata PromoPilota. Ako nemate datoteku robots.txt ili ju je lakše prepisati od nule, pogledajte povezani članak u odjeljku generatora robots.txt datoteke - tamo ćete pronaći vizualni alat za izradu datoteke. A za provjeru same mape web-mjesta postoji zaseban alat za analizu datoteke sitemap.xml.

Ograničenja: Što provjera robots.txt datoteke neće zamijeniti?

Ovaj alat provjerava samo datoteku robots.txt i ne zamjenjuje reviziju meta oznaka robots na razini stranice. Stranica može biti otvorena u robots.txt datoteci, ali blokirana meta oznakom noindex ili zaglavljem X-Robots-Tag. Takva ograničenja treba otkriti provjerom stranice ili potpunom revizijom.

Različite tražilice različito interpretiraju nestandardne direktive. Ono što jedna tražilica podržava, druga će tiho ignorirati. Oslanjajte se na standardne Sitemap User-agent, Allow, Disallow i Sitemap — sve glavne tražilice ih razumiju.

I zapamtite: robots.txt nije sigurnosna datoteka. Uljudno moli robote da ne ulaze, ali ne blokira pristup. Administratorska ploča i osobni podaci zaštićeni su lozinkom, a ne linijom "Disallow". Štoviše, robots.txt je otvoren svima: navođenjem "tajnih" odjeljaka u njoj, izlažete ih znatiželjnicima.

Kada besplatni alat nije dovoljan?

Pronalaženje rizičnog pravila je pola bitke. Odluka o tome koje dijelove zatvoriti već je strategija. Trebate stručnjaka ako:

• Trgovina ima tisuće stranica filtera i opcija sortiranja, i nije jasno koji od njih zatvoriti;
• stranica je ispala iz rezultata pretrage, ali robots.txt "čini se da je u redu";
• Datoteku robots.txt generira CMS ili dodatak, a vaše se izmjene prepisuju;
• Moramo odlučiti hoćemo li omogućiti AI crawlere i kako će to utjecati na vidljivost u asistentima.

Što mogu učiniti za vašu web stranicu?

Zovem se Valeriy Danyuk i programer sam i SEO stručnjak s 12 godina iskustva i preko 200 klijenata. Robots.txt, meta oznake i mape web-mjesta su prve stvari koje provjeravam u svakoj reviziji.

SEO i promocija

• SEO revizija po principu "ključ u ruke": robots.txt, noindex, canonical, sitemap i realno indeksiranje - s korekcijama.
• Autoblog s AI agentima je urednički tim bez ljudi koji objavljuje članke i odmah ih otvara za indeksiranje.
• GEO: Kako je hotel istaknut u ChatGPT, Gemini i Perplexityju — studija slučaja o vidljivosti u odgovorima AI asistenta.

Web stranice i online trgovine

• WordPress web stranica s AI asistentom za 299 € — s odgovarajućom robots.txt datotekom i mapom stranice od prvog dana.
• Web-stranica na 1001site: mapa stranice, strukturirani podaci i indeksiranje pomoću AI-bota konfiguriraju se automatski.

CRM, računovodstvo i automatizacija

• ERP, web stranica i Telegram bot s umjetnom inteligencijom za rastavljanje automobila u 6 dana.
• Dropshipping platforma s partnerskim trgovinama — gdje svaka trgovina zahtijeva vlastitu valjanu robots.txt datoteku.

Svi slučajevi su u portfoliju. Pošaljite mi svoju adresu na Telegram, a ja ću pročitati vašu robots.txt datoteku i obavijestiti vas jesam li zatvorio neke nepotrebne dijelove.

Proizlaziti

1. Provjera robots.txt datoteke na internetu za samo minutu otkriva pravila koja skrivaju web-mjesto ili njegove dijelove od robota.
2. Ispravite redom: Disallow: / → zatvoreni odjeljci → CSS i JS → Mapa weba → sintaksa.
3. Disallow ne uklanja stranicu iz indeksa; ovo zahtijeva noindex na otvorenoj stranici.
4. Ako CMS generira robots.txt datoteku i uređivanja se ne zadrže, lakše je povjeriti postavljanje stručnjaku ili se prebaciti na 1001site, gdje je indeksiranje konfigurirano odmah.

Odmah provjerite svoju datoteku: pokrenite besplatnu analizu robots.txt datoteke, a ako pronađete bilo kakva rizična pravila, pišite mi na Telegram.

Izvori

• PromoPilotova stranica alata za analizu robots.txt datoteke — provjere, primjeri rezultata i pitanja na stranici.
• Google Search Central - Uvod u robots.txt i podržane direktive.
• Pomoć Google Search Console - Izvješće o robots.txt datoteci.