Кратак одговор: да бисте проверили robots.txt датотеку онлајн, унесите свој домен у PromoPilot-ов алат за анализу robots.txt и кликните на „Анализирај“. Алат ће аутоматски преузети датотеку, анализирати све директиве (Дозволи, Забрани, Одлагање пописивања, Мапа сајта), приказати блокове корисничког агента и роботе које циљају, пронаћи синтаксичке грешке и ризична правила, проверити доступност критичних URL-ова и дати препоруке. Бесплатно је и не захтева регистрацију.
Најскупљи ред који сам икада срео у нечијој датотеци robots.txt био је „ Disallow: / “, остатак од развоја. Сајт је покренут, оглашавање је плаћено, али је органски саобраћај остао на нули три недеље јер су роботи били блокирани да посећују све странице.
Шта проверава анализа robots.txt датотеке?
Robots.txt је кратка текстуална датотека у корену веб странице, али је лако направити грешку: једна додатна коса црта мења значење правила. Алат чита датотеку на исти начин као што то раде роботи за претрагу.
| Шта алат посматра? | Пример | Зашто је ово за SEO? |
|---|---|---|
| Све директиве | Allow, Disallow, Crawl-delay, Sitemap | Јасно је шта је тачно дозвољено, а шта забрањено. |
| Блокови корисничког агента | User-agent: *, User-agent: Google bot | Правила за одређеног робота надјачавају општа правила |
| Линкови сајта сајта | Sitemap: https://example.com/sitemap.xml | Робот брже проналази мапу сајта |
| Синтаксичке грешке | Dissalow, правило без блокаде корисничког агента | Неважећи ред се једноставно игнорише. |
| Ризична правила | Disallow: /, приватни /catalog/, CSS и JS | Важне странице недостају приликом скенирања |
| Доступност критичних URL-ова | Почетна, главни одељци | Потврђивање да су кључне странице отворене |
Пример резултата из описа алата: „Пронађена су 2 потенцијално ризична правила Disallow и 1 недостајућа директива Sitemap-а.“ Ово су врсте налаза које заслужују посебну пажњу.
Како проверити robots.txt датотеку онлајн?
- Отворите алат. Анализа датотеке Robots.txt ради у прегледачу.
- Унесите домен:
https://example.com. Датотека ће бити аутоматски преузета у/robots.txt. - Кликните на „Анализирај“.
- Прегледајте листу директива за блокове корисничког агента.
- Анализирајте грешке и ризична правила - то је главна ствар у извештају.
- Исправите датотеку на серверу или у подешавањима CMS-а и поново покрените проверу.
Страница алата: поље за адресу, дугме „Анализирај“ и опис – шта се проверава, сценарији и ограничења.
Проверите robots.txt датотеку у две битне ситуације: пре покретања нове верзије вашег сајта и након било каквог премештања. Тада је највероватније да ће се ограничења тестирања пренети на производну верзију. Такође је корисно проверити robots.txt датотеку вашег конкурента: ограничени одељци показују које странице сматрају сервисним страницама и како је структуриран њихов директоријум.
Како прочитати резултат и шта прво исправити?
Пређите са правила која покривају целу локацију на козметику.
Disallow: /у блокуUser-agent: *. Читав сајт је затворен. Ако ово није тест верзија, одмах уклоните ову линију.- Важни одељци су затворени.
Disallow: /catalogзатвара не само директоријум већ и све што почиње овим знаковима, као што је/catalog-sale/. Правила се заснивају на почетку путање, а велика и мала слова су важна. - CSS, JS и слике су блокирани. Правила попут
Disallow: /wp-content/спречавају Google да види страницу као што би је видео човек. Претраживач би требало да учита стилове и скрипте. - Нема линије за мапу сајта или води до грешке 404. Молимо вас да наведете пуну адресу мапе сајта са протоколом.
- Синтакса. Грешке у именима директива, правила ван блока User-Agent и празни редови унутар блока — роботи игноришу неважеће редове и правило тихо не успева.
- Директиве које Google не подржава. Google игнорише
Crawl-delay, а Google не подржаваNoindexу robots.txt. Ако се ослањате на њих, ово правило се не примењује.
Пример исправне датотеке за WordPress сајт:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
Административни панел, интерна претрага и странице услужних програма продавнице су затворене, AJAX руковалац (без ког делови сајта прекидају рад) је омогућен и мапа сајта је наведена. Све остало је подразумевано омогућено.
Како знате да ли је одређени URL отворен ако постоји више правила? Google примењује најспецифичније правило — оно са најдужом путањом. Ако датотека садржи Disallow: /blog/ и Allow: /blog/seo/, онда је страница /blog/seo/proverka/ отворена, а /blog/news/ је затворена. Ако су путање исте дужине, правило allow побеђује. Звездица * представља било који низ знакова, а $ означава крај URL-а: Disallow: /*.pdf$ затвара све PDF датотеке, али не и страницу /pdf-guide/.
Још једна уобичајена појава су вишеструки блокови за истог робота или заједнички блок који се преклапа са засебним. Ако датотека садржи User-agent: Google bot, Google bot чита само овај блок и потпуно игнорише правила у User-agent: *. Стога ће сва неопходна ограничења морати бити дуплирана у његовом блоку.
Посебна тема за 2026. годину су вештачки претраживачи. Блок User-agent: GPTBot са Disallow: / спречава OpenAI да претражи сајт. Ово је ваша одлука, али имајте на уму: ако је сајт затворен за вештачке ботове, асистентима је теже да га препоруче.
Поређење: Анализа и алтернативе датотеке PromoPilot robots.txt
| Алат | Шта је бесплатно? | Ограничења | За кога је погодно? |
|---|---|---|---|
| PromoPilot - Анализа датотеке Robots.txt | Анализа директива и блокова, грешке, ризична правила, препоруке | Само robots.txt, без мета ознака странице | Брзо проверите свој или туђи веб-сајт |
| Извештај robots.txt Google Search Console | Како је Google примио вашу датотеку, када и са којим грешкама | Само за ваш верификовани сајт | За власнике веб-сајтова |
| Вриштећа жаба SEO паук | Пописивање сајта помоћу датотеке robots.txt и провера ваших правила | Програм је потребно инсталирати | Техничка ревизија |
| Ручна провера у прегледачу | Отворите /robots.txt и прочитајте | Без анализирања грешака и назнака | Ако датотека има три реда |
Закључак: Search Console приказује како Google види датотеку, али само за ваш сајт. Онлајн анализа функционише са било којим доменом и објашњава шта није у реду.
Анализа датотеке robots.txt је један од 87 бесплатних SEO алата компаније PromoPilot. Ако немате датотеку robots.txt или је лакше да је препишете од нуле, погледајте повезани чланак у одељку за генератор robots.txt датотека — тамо ћете пронаћи визуелни алат за креирање датотеке. А да бисте проверили саму мапу сајта, постоји посебан алат за анализу датотеке sitemap.xml.
Ограничења: Шта провера robots.txt датотеке неће заменити?
Овај алат проверава само датотеку robots.txt и не замењује ревизију мета ознака robots на нивоу странице. Страница може бити отворена у robots.txt датотеци, али блокирана мета ознаком noindex или заглављем X-Robots-Tag. Таква ограничења треба открити провером странице или потпуном ревизијом.
Различити претраживачи различито тумаче нестандардне директиве. Оно што један претраживач подржава, други ће тихо игнорисати. Ослањајте се на стандардне Sitemap User-agent, Allow, Disallow и Sitemap — сви главни претраживачи их разумеју.
И запамтите: robots.txt није безбедносна датотека. Учтиво тражи од робота да не улазе, али не блокира приступ. Административни панел и лични подаци су заштићени лозинком, а не линијом „Забрани“. Штавише, robots.txt је отворен за све: навођењем „тајних“ одељака у њему, откривате их радозналима.
Када бесплатан алат није довољан?
Проналажење ризичног правила је пола битке. Одлучивање које одељке затворити је већ стратегија. Потребан вам је стручњак ако:
- Продавница има хиљаде страница филтера и опција сортирања, и није јасно који од њих затворити;
- сајт је испао из резултата претраге, али robots.txt „изгледа да је у реду“;
- Датотеку robots.txt генерише CMS или додатак, а ваше измене се преписују;
- Морамо да одлучимо да ли да омогућимо вештачку интелигенцију (AI crawlers) и како ће то утицати на видљивост у асистентима.
Шта могу да урадим за ваш веб-сајт?
Моје име је Валериј Дањук, програмер сам и SEO специјалиста са 12 година искуства и преко 200 клијената. Robots.txt, мета ознаке и мапе сајта су прве ствари које проверавам у свакој ревизији.
SEO и промоција
- SEO ревизија по принципу „кључ у руке“: robots.txt, noindex, canonical, sitemap и real indexing — са корекцијама.
- Аутоблог са вештачком интелигенцијом је уреднички тим без људи који објављује чланке и одмах их отвара за индексирање.
- ГЕО: Како је хотел истакнут у ChatGPT, Gemini и Perplexity-ју — студија случаја о видљивости у одговорима AI асистента.
Веб странице и онлајн продавнице
- WordPress вебсајт са AI асистентом за 299 евра — са одговарајућом robots.txt датотеком и мапом сајта од првог дана.
- Веб-сајт на 1001site: мапа сајта, структурирани подаци и индексирање помоћу AI-bot-а се конфигуришу аутоматски.
CRM, рачуноводство и аутоматизација
- ERP, веб страница и Telegram бот са вештачком интелигенцијом за демонтажу аутомобила за 6 дана.
- Дропшипинг платформа са партнерским продавницама — где свака продавница захтева своју валидну robots.txt датотеку.
Сви случајеви су у портфолију. Пошаљите ми своју адресу на Telegram, а ја ћу прочитати ваш robots.txt и обавестити вас ако сам затворио неке непотребне делове.
Резултат
- Провера датотеке robots.txt на мрежи за само минут открива правила која скривају сајт или његове делове од робота.
- Поправка по редоследу:
Disallow: /→ затворени одељци → CSS и JS → Мапа сајта → синтакса. - Disallow не уклања страницу из индекса; ово захтева
noindexна отвореној страници. - Ако CMS генерише robots.txt и измене се не задрже, лакше је поверити подешавање стручњаку или прећи на 1001site, где је индексирање конфигурисано одмах.
Проверите свој фајл одмах: покрените бесплатну анализу robots.txt датотеке, а ако пронађете било каква ризична правила, пишите ми на Telegram.
Извори
- Страница алата за анализу robots.txt датотеке PromoPilot — провере, примери резултата и питања на страници.
- Google центар за претрагу - Увод у robots.txt и подржане директиве.
- Помоћ за Google Search Console - Извештај о датотеци Robots.txt.
