Provjera robots.txt datoteke online: kako pronaći greške koje skrivaju vašu web stranicu od pretraživača

Kratak odgovor: da biste provjerili robots.txt datoteku online, unesite svoju domenu u PromoPilotov alat za analizu robots.txt datoteke i kliknite na "Analiziraj". Alat će automatski preuzeti datoteku, analizirati sve direktive (Dozvoli, Zabrani, Odgoda indeksiranja, Mapa stranice), prikazati blokove korisničkog agenta i robote na koje ciljaju, pronaći sintaktičke greške i rizična pravila, provjeriti dostupnost kritičnih URL-ova i dati preporuke. Besplatno je i ne zahtijeva registraciju.

Najskuplja linija koju sam ikada sreo u nečijoj robots.txt datoteci bila je " Disallow: / ", ostatak iz razvoja. Stranica je pokrenuta, oglašavanje je plaćeno, ali organski promet je ostao na nuli tri sedmice jer je robotima bilo blokirano posjećivanje svih stranica.

Šta provjerava analiza robots.txt datoteke?

Robots.txt je kratka tekstualna datoteka u korijenu web stranice, ali je lako pogriješiti: jedna dodatna kosa crta mijenja značenje pravila. Alat čita datoteku na isti način na koji to rade roboti za pretraživanje.

Primjer rezultata iz opisa alata: "Pronađena su 2 potencijalno rizična Disallow pravila i 1 nedostajuća Sitemap direktiva." Ovo su vrste nalaza koji zaslužuju posebnu pažnju.

Kako provjeriti robots.txt datoteku online?

1. Otvorite alat. Analiza datoteke Robots.txt radi u pregledniku.
2. Unesite domenu: https://example.com. Datoteka će se automatski preuzeti u /robots.txt.
3. Kliknite na "Analiziraj".
4. Pregledajte listu direktiva za blokove korisničkog agenta.
5. Analizirajte greške i rizična pravila - to je glavna stvar u izvještaju.
6. Ispravite datoteku na serveru ili u postavkama CMS-a i ponovo pokrenite provjeru.

Stranica alata: polje za adresu, dugme "Analiziraj" i opis - šta se provjerava, scenariji i ograničenja.

Provjerite robots.txt datoteku u dvije bitne situacije: prije pokretanja nove verzije vaše stranice i nakon bilo kakvog premještanja. Tada je najvjerovatnije da će se ograničenja testiranja prenijeti na produkcijsku verziju. Također je korisno provjeriti robots.txt datoteku vašeg konkurenta: ograničeni dijelovi pokazuju koje stranice smatraju servisnim stranicama i kako je strukturiran njihov direktorij.

Kako pročitati rezultat i šta prvo ispraviti?

Pređite sa pravila koja pokrivaju cijelu stranicu na kozmetiku.

1. Disallow: / u bloku User-agent: *. Cijela stranica je zatvorena. Ako ovo nije testna verzija, odmah uklonite ovu liniju.
2. Važni dijelovi su zatvoreni. Disallow: /catalog zatvara ne samo direktorij već i sve što počinje ovim znakovima, kao što je /catalog-sale/. Pravila se zasnivaju na početku putanje, a velika i mala slova su važna.
3. CSS, JS i slike su blokirani. Pravila poput Disallow: /wp-content/ sprečavaju Google da pregleda stranicu kao što bi je pregledao čovjek. Pretraživač bi trebao učitati stilove i skripte.
4. Nema linije za mapu sajta ili vodi do greške 404. Molimo vas da navedete punu adresu mape sajta sa protokolom.
5. Sintaksa. Tipografske greške u nazivima direktiva, pravila izvan bloka korisničkog agenta i prazni redovi unutar bloka - roboti ignorišu nevažeće redove i pravilo tiho ne uspijeva.
6. Direktive koje Google ne podržava. Google ignoriše Crawl-delay, a Google ne podržava Noindex u robots.txt datoteci. Ako se oslanjate na njih, ovo pravilo se ne primjenjuje.

Primjer ispravne datoteke za WordPress stranicu:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Administratorska ploča, interna pretraga i stranice uslužnih programa trgovine su zatvorene, AJAX handler (bez kojeg dijelovi stranice ne rade) je omogućen i mapa stranice je određena. Sve ostalo je omogućeno prema zadanim postavkama.

Kako znate da li je određeni URL otvoren ako postoji više pravila? Google primjenjuje najspecifičnije pravilo - ono s najdužom putanjom. Ako datoteka sadrži Disallow: /blog/ i Allow: /blog/seo/, tada je stranica /blog/seo/proverka/ otvorena, a /blog/news/ je zatvorena. Ako su putanje iste dužine, pravilo "allow" pobjeđuje. Zvjezdica * predstavlja bilo koji niz znakova, a $ označava kraj URL-a: Disallow: /*.pdf$ zatvara sve PDF datoteke, ali ne i stranicu /pdf-guide/.

Još jedna uobičajena pojava su višestruki blokovi za istog robota ili zajednički blok koji se preklapa sa zasebnim. Ako datoteka sadrži User-agent: Google bot, Google bot čita samo taj blok i potpuno ignoriše pravila u User-agent: *. Stoga će sva potrebna ograničenja morati biti duplicirana u njegovom bloku.

Posebna tema za 2026. godinu su AI crawleri. Blok User-agent: GPTBot sa Disallow: / sprečava OpenAI da indeksira stranicu. Ovo je vaša odluka, ali imajte na umu: ako je stranica zatvorena za AI botove, asistentima je teže da je preporuče.

Poređenje: Analiza i alternative datoteke robots.txt za PromoPilot

Zaključak: Search Console prikazuje kako Google vidi datoteku, ali samo za vašu web stranicu. Online analiza funkcionira s bilo kojom domenom i objašnjava što nije u redu.

Analiza datoteke Robots.txt je jedan od 87 besplatnih SEO alata PromoPilota. Ako nemate datoteku robots.txt ili je lakše prepisati je od nule, pogledajte povezani članak u odjeljku generatora robots.txt datoteke - tamo ćete pronaći vizualni alat za kreiranje datoteke. A za provjeru same mape stranice postoji zaseban alat za analizu datoteke sitemap.xml.

Ograničenja: Šta provjera robots.txt datoteke neće zamijeniti?

Ovaj alat provjerava samo robots.txt datoteku i ne zamjenjuje reviziju robots meta oznaka na nivou stranice. Stranica može biti otvorena u robots.txt datoteci, ali blokirana noindex meta oznakom ili X-Robots-Tag zaglavljem. Takva ograničenja treba otkriti provjerom stranice ili potpunom revizijom.

Različite tražilice različito interpretiraju nestandardne direktive. Ono što jedna tražilica podržava, druga će tiho ignorirati. Oslanjajte se na standardne Sitemap User-agent, Allow, Disallow i Sitemap — sve glavne tražilice ih razumiju.

I zapamtite: robots.txt nije sigurnosni dokument. On ljubazno moli robote da ne ulaze, ali ne blokira pristup. Administratorska ploča i lični podaci zaštićeni su lozinkom, a ne linijom "Disallow". Štaviše, robots.txt je otvoren za sve: navođenjem "tajnih" dijelova u njemu, izlažete ih znatiželjnim ljudima.

Kada besplatni alat nije dovoljan?

Pronalaženje rizičnog pravila je pola bitke. Odluka o tome koje dijelove zatvoriti već je strategija. Potreban vam je stručnjak ako:

• Trgovina ima hiljade stranica filtera i opcija sortiranja, i nije jasno koji od njih zatvoriti;
• Stranica je ispala iz rezultata pretrage, ali robots.txt "izgleda da je u redu";
• Datoteku robots.txt generira CMS ili dodatak, a vaše izmjene se prepisuju;
• Moramo odlučiti hoćemo li omogućiti AI crawlere i kako će to utjecati na vidljivost u asistentima.

Šta mogu učiniti za vašu web stranicu?

Moje ime je Valeriy Danyuk i ja sam programer i SEO specijalista sa 12 godina iskustva i preko 200 klijenata. Robots.txt, meta tagovi i mape sajta su prve stvari koje provjeravam u svakoj reviziji.

SEO i promocija

• SEO revizija po sistemu "ključ u ruke": robots.txt, noindex, canonical, sitemap i real indeksiranje - sa korekcijama.
• Autoblog s AI agentima je urednički tim bez ljudi koji objavljuje članke i odmah ih otvara za indeksiranje.
• GEO: Kako je hotel predstavljen u ChatGPT, Gemini i Perplexityju — studija slučaja o vidljivosti u odgovorima AI asistenta.

Web stranice i online trgovine

• WordPress web stranica s AI asistentom za 299 eura — s odgovarajućom robots.txt datotekom i mapom stranice od prvog dana.
• Web stranica na 1001site: mapa stranice, strukturirani podaci i indeksiranje putem AI-bota su konfigurisani automatski.

CRM, računovodstvo i automatizacija

• ERP, web stranica i Telegram bot pokretan umjetnom inteligencijom za rastavljanje automobila za 6 dana.
• Dropshipping platforma s partnerskim trgovinama — gdje svaka trgovina zahtijeva vlastitu važeću robots.txt datoteku.

Svi slučajevi su u portfoliju. Pošaljite mi svoju adresu na Telegram, a ja ću pročitati vašu robots.txt datoteku i obavijestiti vas ako sam zatvorio neke nepotrebne dijelove.

Rezultat

1. Provjera robots.txt datoteke online za samo minutu otkriva pravila koja skrivaju web-stranicu ili njene dijelove od robota.
2. Popravak po redoslijedu: Disallow: / → zatvoreni odjeljci → CSS i JS → Mapa sajta → sintaksa.
3. Disallow ne uklanja stranicu iz indeksa; ovo zahtijeva noindex na otvorenoj stranici.
4. Ako CMS generira robots.txt datoteku i izmjene se ne zadrže, lakše je povjeriti podešavanje stručnjaku ili preći na 1001site, gdje je indeksiranje konfigurirano odmah.

Odmah provjerite svoju datoteku: pokrenite besplatnu analizu robots.txt datoteke, a ako pronađete bilo kakva rizična pravila, pišite mi na Telegram.

Izvori

• PromoPilotova stranica s alatom za analizu robots.txt datoteke — provjere, primjeri rezultata i pitanja na stranici.
• Google Search Central - Uvod u robots.txt i podržane direktive.
• Pomoć Google Search Console - Izvještaj o robots.txt datoteci.