Праверка robots.txt онлайн: як знайсці памылкі, якія хаваюць сайт ад пошуку

Кароткі адказ: каб праверыць robots.txt онлайн, увядзіце дамен у Аналіз robots.txt PromoPilot і націсніце "Аналізаваць". Інструмент сам загрузіць файл, разбярэ ўсе дырэктывы (Allow, Disallow, Crawl-delay, Sitemap), пакажа блокі User-agent і робатаў, на якіх яны нацэлены, знойдзе сінтаксічныя памылкі і рызыкоўныя правілы, праверыць даступнасць крытычных URL і дасць рэкамендацыі. Бясплатна, без рэгістрацыі.

Самы дарагі радок, які я сустракаў у чужым robots.txt, — Disallow: /, якая засталася пасля распрацоўкі. Сайт запусцілі, рэкламу аплацілі, а арганіка тры тыдні стаяла на нулі, таму што робатам забаранілі заходзіць на ўсе старонкі.

Што правярае аналіз robots.txt?

Robots.txt - кароткі тэкставы файл у корані сайта, але памыліцца ў ім лёгка: адна лішняя касая рыса змяняе сэнс правіла. Інструмент чытае файл так, як яго чытаюць пошукавыя робаты.

Прыклад выніку з апісання прылады: "Знойдзена 2 патэнцыйна рызыкоўных правілы Disallow і 1 адсутная дырэктыва Sitemap". Менавіта такія знаходкі і стаяць увагі ў першую чаргу.

Як праверыць robots.txt анлайн?

1. Адкрыйце інструмент. Аналіз robots.txt працуе ў браўзэры.
2. Увядзіце дамен - https://example.com. Файл загрузіцца аўтаматычна па адрасе /robots.txt.
3. Націсніце "Аналізаваць".
4. Вывучыце спіс дырэктыў па блоках User-agent.
5. Разбярыце памылкі і рызыкоўныя правілы - гэта галоўнае ў справаздачы.
6. Выпраўце файл на серверы або ў наладах CMS і запусціце праверку паўторна.

Старонка інструмента: поле для адраса, кнопка "Аналізаваць" і апісанне - што правяраецца, сцэнары і абмежаванні.

Правярайце robots.txt у двух абавязковых выпадках: перад запускам новай версіі сайта і пасля любога пераезду. Менавіта тады тэставыя забароны часцей за ўсё "з'яжджаюць" у працоўную версію. Карысна праверыць і файл канкурэнта: па зачыненых частках відаць, якія старонкі ён лічыць службовымі і як уладкованы яго каталог.

Як чытаць рэзультат і што выправіць першым?

Рухайцеся ад правіл, якія зачыняюць увесь сайт, да касметыцы.

1. Disallow: / у блоку User-agent: *. Зачынены ўвесь сайт. Калі гэта не тэставая версія - выдаляйце радок неадкладна.
2. Закрыты важныя раздзелы. Disallow: /catalog зачыняе не толькі каталог, але і ўсё, што пачынаецца з гэтых сімвалаў, напрыклад /catalog-sale/. Правілы працуюць па пачатку шляху, і рэгістр літар важны.
3. Закрытыя CSS, JS і карцінкі. Правіла накшталт Disallow: /wp-content/ мяшае Google убачыць старонку так, як яе бачыць чалавек. Робат павінен загружаць стылі і скрыпты.
4. Няма радка Sitemap ці яна вядзе на 404. Пазначце поўны адрас карты сайта з пратаколам.
5. Сінтаксіс. Памылкі друку ў назовах дырэктыў, правілы па-за блокам User-agent, пустыя радкі ўсярэдзіне блока — няслушныя радкі робаты ігнаруюць, і правіла моўчкі не працуе.
6. Дырэктывы, якія Google не падтрымлівае. Crawl-delay Google bot ігнаруе, а Noindex у robots.txt Google не падтрымлівае. Калі вы на іх разлічваеце - правіла не дзейнічае.

Прыклад правільнага файла для сайта на WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Закрыты адмінка, унутраны пошук і службовыя старонкі магазіна, адкрыты AJAX-апрацоўшчык, без якога ламаюцца часткі сайта, і пазначана карта сайта. Усё астатняе па змаўчанні дазволена.

Як зразумець, ці адкрыты пэўны адрас, калі правілаў шмат? Google прымяняе самае канкрэтнае правіла - тое, у якога шлях даўжэй. Калі ў файле ёсць Disallow: /blog/ і Allow: /blog/seo/, то старонка /blog/seo/proverka/ адкрыта, а /blog/news/ зачынена. Пры роўнай даўжыні перамагае дазвольнае правіла. Зорачка * замяняе любую паслядоўнасць сімвалаў, а $ пазначае канец адраса: Disallow: /*.pdf$ закрывае ўсе PDF-файлы, але не старонку /pdf-guide/.

Яшчэ адна частая знаходка – некалькі блокаў для аднаго і таго ж робата ці агульны блок, які "перакрываецца" асобным. Калі ў файле ёсць User-agent: Google bot, то Google bot чытае толькі гэты блок і цалкам ігнаруе правілы з User-agent: *. Таму ўсе патрэбныя забароны давядзецца прадубліраваць у яго блоку.

Асобная тэма 2026 года – ІІ-краўлеры. Блок User-agent: GPTBot з Disallow: / забараняе OpenAI абыходзіць сайт. Гэта ваша рашэнне, але ўлічыце: калі сайт зачынены для ІІ-ботаў, асістэнтам складаней яго рэкамендаваць.

Параўнанне: аналіз robots.txt у PromoPilot і альтэрнатывы

Выснова: Search Console паказвае, як файл бачыць Google, але толькі для вашага сайта. Анлайн-аналіз працуе з любым даменам і тлумачыць, што не так.

Аналіз robots.txt - адзін з 87 бясплатных SEO-інструментаў PromoPilot. Калі файла няма зусім ці яго прасцей перапісаць з нуля, зазірніце ў суседні артыкул часткі аб генератары robots.txt - тамака збіраем файл у візуальным канструктару. А для праверкі самой карты сайта ёсць асобны аналіз sitemap.xml.

Абмежаванні: што праверка robots.txt не заменіць?

Інструмент правярае толькі файл robots.txt і не замяняе аўдыт метатэгаў robots на ўзроўні старонак. Старонка можа быць адкрыта ў robots.txt, але зачынена метатэгам noindex або загалоўкам X-Robots-Tag - такія забароны шукайце праверкай старонкі або поўным аўдытам.

Розныя робаты па-рознаму тлумачаць нестандартныя дырэктывы. Тое, што падтрымлівае адзін пошукавік, іншы моўчкі прапусціць. Абапірайцеся на стандартныя User-agent, Allow, Disallow і Sitemap – іх разумеюць усе буйныя пошукавыя сістэмы.

І памятайце: robots.txt – не абарона. Ён ветліва просіць робатаў не заходзіць, але не закрывае доступ. Адмінку і асабістыя дадзеныя абараняюць паролем, а не радком Disallow. Больш за тое, robots.txt адкрыты ўсім: пералічваючы ў ім "сакрэтныя" часткі, вы самі паказваеце іх цікаўным.

Калі бясплатнай прылады мала?

Знайсці рызыкоўнае правіла - паўсправы. Вырашыць, якія раздзелы закрываць, - ужо стратэгія. Спецыяліст патрэбен, калі:

• каля крамы тысячы старонак фільтраў і сарціровак, і незразумела, што з іх зачыняць;
• сайт выпаў з пошуку, а robots.txt «нібыта ў парадку»;
• robots.txt генеруе CMS або убудова, і вашыя праўкі перазапісваюцца;
• трэба вырашыць, пускаць Ці ІІ-краулеры, і як гэта адаб'ецца на бачнасці ў асістэнтах.

Што я магу зрабіць для вашага сайта?

Мяне клічуць Валер Данюк, я распрацоўшчык і SEO-спецыяліст: 12 гадоў, 200+ кліентаў. Robots.txt, метатэгі і карта сайта - першае, што я правяраю ў кожным аўдыце.

SEO і прасоўванне

• SEO-аўдыт пад ключ: robots.txt, noindex, canonical, sitemap і рэальная індэксацыя – з выпраўленнямі.
• Аўтаблог з ІІ-агентамі - рэдакцыя без людзей, якая публікуе артыкулы і адразу адкрывае іх для індэксацыі.
• GEO: як гатэль патрапіў у рэкамендацыі ChatGPT, Gemini і Perplexity - кейс аб бачнасці ў адказах ІІ-асістэнтаў.

Сайты і інтэрнэт-крамы

• Сайт на WordPress з ІІ-памочнікам за 299 € - з правільным robots.txt і картай сайта з першага дня.
• Сайт на 1001site: sitemap, структураваныя дадзеныя і індэксацыя ІІ-ботамі настроены аўтаматычна.

CRM, улік і аўтаматызацыя

• ERP, сайт і Telegram -бот з ІІ для авторазборкі за 6 дзён.
• Дропшыпінг-платформа з крамамі партнёраў — дзе кожнай краме патрэбен свой карэктны robots.txt.

Усе кейсы – у партфоліё. Дашліце адрас у Telegram – прачытаю ваш robots.txt і скажу, не зачынена ці лішняе.

Вынік

1. Праверка robots.txt онлайн за хвіліну знаходзіць правілы, якія хаваюць сайт або яго раздзелы ад робатаў.
2. Чыніце па парадку: Disallow: / → закрытыя раздзелы → CSS і JS → Sitemap → сінтаксіс.
3. Disallow не прыбірае старонку з індэкса - для гэтага патрэбен noindex на адкрытай старонцы.
4. Калі robots.txt генеруе CMS, а праўкі не трымаюцца, прасцей даверыць наладу спецыялісту або перайсці на 1001site, дзе індэксацыя настроена са скрынкі.

Праверце свой файл прама зараз: запусціце бясплатны аналіз robots.txt, а калі знойдуцца рызыкоўныя правілы - напішыце мне ў Telegram.

Крыніцы

• Старонка інструмента "Аналіз robots.txt" PromoPilot - праверкі, прыклад выніку і пытанні старонкі.
• Google Search Central - увядзенне ў robots.txt і падтрымліваюцца дырэктывы.
• Даведка Google Search Console - справаздача аб файле robots.txt.