Генератар robots.txt онлайн: як сабраць правільны файл за 5 хвілін без памылак

Кароткі адказ: каб стварыць robots.txt онлайн, адкрыйце Генератар robots.txt PromoPilot, абярыце пресет (Свой, Дазволіць усё, Забараніць усё, WordPress, Laravel або Next.js), упішыце шляхі для Disallow і Allow, укажыце адрас сайта для радка Sitemap ІІ-краўлераў. Справа адразу з'явіцца гатовы тэкст файла - яго можна скапіяваць або спампаваць. Бясплатна і без рэгістрацыі.

Я пішу robots.txt для кожнага новага сайта і ведаю, як лёгка памыліцца ўручную: лішні прабел, забытая касая рыса, правіла па-за блокам. Канструктар здымае гэтую праблему - вы думаеце аб тым, што зачыніць, а не аб сінтаксісе. Ніжэй - як ім карыстацца, што зачыняць і куды пакласці гатовы файл.

Што робіць генератар robots.txt?

Генератар - гэта форма замест тэкставага рэдактара. Вы выбіраеце налады, а прылада збірае з іх карэктны файл і паказвае яго ў жывым прэв'ю.

Важна разумець мяжу: генератар стварае файл, але не правярае ўжо існы. Калі ў вас robots.txt ужо ёсць і вы хочаце знайсці ў ім памылкі, патрэбен аналіз robots.txt - гэтаму прысвечаны суседні артыкул часткі.

Як стварыць robots.txt анлайн?

1. Адкрыйце генератар robots.txt.
2. Абярыце прасэт пад свой рухавічок. Калі рухавічка няма ў спісе - "Свой варыянт".
3. Упішыце адрас сайта - https://example.com. З яго з'явіцца радок Sitemap.
4. Дадайце шляхі Disallow, па адным у радку: /admin/, /tmp/, /search/.
5. Пры неабходнасці дадайце Allow - выключэнні ўсярэдзіне зачыненых тэчак, напрыклад /uploads/images/.
6. Адзначце сцяжкі: Sitemap, Crawl-delay, блакіроўка ІІ-краулераў.
7. Скапіюйце або запампуйце файл і загрузіце яго ў корань сайта.

Злева на старонцы - налады, справа - жывое прэв'ю файла з кнопкамі "Капіяваць" і "Сьцягнуць robots.txt".

Файл павінен ляжаць строга ў корані дамена: https://example.com/robots.txt. У тэчцы /blog/robots.txt або на іншым паддамене робаты яго не знойдуць – у кожнага паддамена свой robots.txt.

Куды менавіта загрузіць запампаваны файл, залежыць ад платформы:

• Звычайны хостынг - праз файлавы мэнэджар панэлі ці FTP у тэчку, дзе ляжыць галоўная старонка (часта public_html ці www).
• WordPress - калі фізічнага файла няма, рухавік аддае віртуальны robots.txt. Загружаны ў корань файл замяняе яго; другі шлях - рэдактар файла ў SEO-плагіне.
• Next.js і іншыя фрэймворкі - файл кладуць у тэчку public або генеруюць з кода праекту, каб ён не згубіўся пры наступным дэплоі.
• Канструктары сайтаў - звычайна файл кіруецца ў наладах SEO, а не загружаецца ўручную.

Файл павінен звацца строга robots.txt у ніжнім рэгістры і захоўвацца ў кадоўцы UTF-8 як звычайны тэкст. Пасля загрузкі адкрыйце яго ў браўзэры: калі бачыце свой тэкст - усё на месцы.

Што зачыняць у robots.txt, а што нельга?

Галоўны прынцып: закрывайце тое, што не нясе карысці ў пошуку і марнуе час робата. Не закрывайце тое, без чаго робат не зразумее старонку.

Звычайна закрываюць:

• адмінку і асабісты кабінет: /admin/, /wp-admin/, /account/;
• кошык і афармленне замовы: /cart/, /checkout/;
• унутраны пошук: /search/, /?s=;
• службовыя і часовыя тэчкі: /tmp/, /cgi-bin/;
• бясконцыя камбінацыі фільтраў і сартовак -акуратна, толькі калі ёсць асобныя пасадачныя старонкі пад патрэбныя фільтры.

Ніколі не закрывайце:

• CSS, JavaScript і малюнкі - без іх Google не ўбачыць старонку так, як яе бачыць чалавек;
• каталог, блог, карткі тавараў і пасадачныя старонкі;
• старонкі, якія жадаеце прыбраць з азначніка, – для гэтага патрэбен noindex, а робат павінен мець магчымасць яго прачытаць.

Вось файл, які атрымаецца для тыповай крамы на WordPress з WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

Аб сцяжках. Crawl-delay Google bot не ўлічвае – уключайце яго, толькі калі сервер пакутуе ад іншых робатаў. Блакаванне ІІ-краулераў – рашэнне бізнесу: калі вы хочаце, каб ChatGPT, Gemini і Perplexity ведалі пра вас і раілі вас, не закрывайце ім доступ.

Яшчэ адзін практычны момант - тэставая версія сайта. Для staging-копіі выкарыстоўвайце прасэт "Забараніць усё", але абавязкова заменіце файл пры запуску: менавіта забыты Disallow: / часцей за ўсё губляе трафік новых сайтаў.

Параўнанне: генератар PromoPilot і іншыя спосабы стварыць robots.txt

Выснова: генератар - самы хуткі спосаб атрымаць карэктны файл без ведання сінтаксісу. Убудова і код праекту зручныя, калі файл павінен змяняцца разам з сайтам.

Генератар - адзін з 87 бясплатных SEO-інструментаў PromoPilot. Пасля загрузкі файла праверце яго аналізатарам robots.txt, а для радка Sitemap спатрэбіцца генератар sitemap.xml - абодвум прысвечаны суседнія артыкулы часткі.

Абмежаванні генератара: што ён не зробіць за вас?

Генератар не ведае структуру вашага сайта. Прэсе WordPress зачыніць тыпавыя службовыя шляхі, але не здагадаецца, што ў вашай крамы фільтры жывуць у /filter/, а ўнутраны пошук — у /find/. Гэтыя шляхі трэба ўпісаць самастойна.

Ён не загружае файл на сервер і не правярае, што файл даступны па адрасе /robots.txt з кодам 200. Пасля загрузкі адкрыйце адрас у браўзэры або прагоніце яго праз аналізатар.

І ён не замяняе noindex: калі мэта - прыбраць старонкі з пошуку, robots.txt для гэтага не падыходзіць. Нарэшце, файл не абараняе дадзеныя: ён публічны, і любы можа прачытаць, якія часткі вы зачынілі. Сакрэтнае хаваюць за паролем.

Калі бясплатнай прылады мала?

Згенераваць файл - пяць хвілін. Вырашыць, што зачыняць на сайце з тысячамі старонак, - праца. Спецыяліст патрэбен, калі:

• у крамы сотні камбінацый фільтраў, і частка з іх прыносіць трафік;
• сайт шматмоўны, на паддаменах або з асобнымі тэчкамі пад мовы;
• пасля праўкі robots.txt упаў трафік, і незразумела, якое правіла вінавата;
• трэба ўзгадніць robots.txt, метатэгі, canonical і карту сайта ў адну сістэму.

Што я магу зрабіць для вашага сайта?

Мяне клічуць Валер Данюк, я распрацоўшчык і SEO-спецыяліст: 12 гадоў, 200+ кліентаў. Правільны robots.txt - частка кожнага сайта, які я здаю.

SEO і прасоўванне

• SEO-аўдыт пад ключ: robots.txt, noindex, canonical і карта сайта як адзіная сістэма, а не набор выпадковых правілаў.
• SEO-блог з ІІ, які прыводзіць кліентаў з арганікі.
• Шматмоўны сайт без перакладчыка - дзе robots.txt і карта сайта павінны ўлічваць усе мовы.

Сайты і інтэрнэт-крамы

• Інтэрнэт-крама на WooCommerce: 40+ шаблонаў, 299 € - з robots.txt пад кошык, фільтры і афармленне замовы.
• Сайт на 1001site, дзе sitemap і індэксацыя настроены аўтаматычна. Чым гэта адрозніваецца ад канструктара з абанплатай - у разборы Тыльда або сайт з ІІ.

CRM, улік і аўтаматызацыя

• Сістэма ўліку з інтэрнэт-крамай за месяц - праект для кампаніі з Чэхіі.
• QuestFlow – SaaS-канструктар Telegram ботаў з ІІ.

Больш - у партфоліё. Не ўпэўненыя, што зачыняць? Дашліце адрас сайта ў Telegram - падкажу правілы пад вашу структуру.

Вынік

1. Генератар robots.txt онлайн збірае карэктны файл за пяць хвілін: прасэт, шляхі, Sitemap, сцяжкі.
2. Закрывайце адмінку, кошык, пошук і службовыя тэчкі; не закрывайце CSS, JS, каталог і блог.
3. robots.txt не прыбірае старонкі з азначніка - для гэтага noindex.
4. Складаная структура, фільтры і мовы - нагода даверыць наладу спецыялісту або сабраць сайт на 1001site, дзе індэксацыя настроена са скрынкі.

Збярыце свой файл прама зараз у бясплатным генератары robots.txt, а калі сумняваецеся ў правілах - напішыце мне ў Telegram.

Крыніцы

• Старонка інструмента «Генератар robots.txt» PromoPilot — настройкі, прасэты і пытанні старонкі.
• Google Search Central - як стварыць і адправіць файл robots.txt.
• Дакументацыя Next.js - файл метададзеных robots.