Генератор robots.txt онлайн: як зібрати правильний файл за 5 хвилин без помилок

Коротка відповідь: щоб створити robots.txt онлайн, відкрийте Генератор robots.txt PromoPilot, виберіть пресет (Свій, Дозволити все, Заборонити все, WordPress, Laravel або Next.js), впишіть шляхи для Disallow і Allow, вкажіть адресу сайту для рядка Sitemap ІІ-краулерів. Справа відразу з'явиться готовий текст файлу - його можна скопіювати або завантажити. Безкоштовно та без реєстрації.

Я пишу robots.txt для кожного нового сайту і знаю, як легко помилитися вручну: зайва прогалина, забута коса риса, правило поза блоком. Конструктор знімає цю проблему — ви думаєте про те, що закрити, а не синтаксис. Нижче – як ним користуватися, що закривати і куди покласти готовий файл.

Що робить генератор robots.txt?

Генератор – це форма замість текстового редактора. Ви вибираєте налаштування, а інструмент збирає з них коректний файл та показує його в живому прев'ю.

Важливо розуміти кордон: генератор створює файл, але не перевіряє існуючий. Якщо у вас robots.txt вже є і ви хочете знайти в ньому помилки, потрібен аналіз robots.txt – цьому присвячена сусідня стаття розділу.

Як створити robots.txt онлайн?

1. Відкрийте генератор robots.txt.
2. Виберіть пресет під свій двигун. Якщо двигуна немає в списку - "Свій варіант".
3. Впишіть адресу сайту - https://example.com. З нього з'явиться рядок Sitemap.
4. Додайте шляхи Disallow, по одному у рядку: /admin/, /tmp/, /search/.
5. Якщо потрібно, додайте Allow — винятки всередині закритих папок, наприклад /uploads/images/.
6. Позначте прапорці: Sitemap, Crawl-delay, блокування ІІ-краулерів.
7. Скопіюйте або завантажте файл та завантажте його в корінь сайту.

Зліва на сторінці – налаштування, праворуч – живе прев'ю файлу з кнопками «Копіювати» та «Завантажити robots.txt».

Файл повинен лежати в корені домену: https://example.com/robots.txt. У папці /blog/robots.txt або на іншому піддоміні роботи його не знайдуть - у кожного піддомену свій robots.txt.

Куди саме завантажити завантажений файл залежить від платформи:

• Звичайний хостинг — через файловий менеджер панелі або FTP до папки, де лежить головна сторінка (часто public_html або www).
• WordPress - якщо фізичного файлу немає, двигун віддає віртуальний robots.txt. Завантажений у корінь файл замінює його; другий шлях - редактор файлу в SEO-плагіні.
• Next.js та інші фреймворки - файл кладуть у папку public або генерують з коду проекту, щоб він не загубився при наступному деплої.
• Конструктори сайтів зазвичай файл правиться в налаштуваннях SEO, а не завантажується вручну.

Файл має називатися строго robots.txt у нижньому регістрі та зберігатись у кодуванні UTF-8 як звичайний текст. Після завантаження відкрийте його у браузері: якщо бачите свій текст, все на місці.

Що закривати у robots.txt, а що не можна?

Головний принцип: закривайте те, що не користь у пошуку і витрачає час робота. Не закривайте те, без чого робот не зрозуміє сторінку.

Зазвичай закривають:

• адмінку та особистий кабінет: /admin/, /wp-admin/, /account/;
• кошик та оформлення замовлення: /cart/, /checkout/;
• внутрішній пошук: /search/, /?s=;
• службові та тимчасові папки: /tmp/, /cgi-bin/;
• нескінченні комбінації фільтрів та сортувань – акуратно, тільки якщо є окремі посадкові сторінки під потрібні фільтри.

Ніколи не закривайте:

• CSS, JavaScript та картинки – без них Google не побачить сторінку так, як її бачить людина;
• каталог, блог, картки товарів та посадкові сторінки;
• сторінки, які хочете прибрати з індексу, для цього потрібен noindex, а робот повинен мати можливість його прочитати.

Ось файл, який вийде для типового магазину на WordPress з WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

Про прапорці. Crawl-delay Google bot не враховує - вмикайте його, тільки якщо сервер страждає від інших роботів. Блокування ІІ-краулерів – рішення бізнесу: якщо ви хочете, щоб ChatGPT, Gemini та Perplexity знали про вас і радили вас, не закривайте їм доступ.

Ще один практичний момент – тестова версія сайту. Для staging-копії використовуйте пресет «Заборонити все», але обов'язково замініть файл при запуску: саме забутий Disallow: / найчастіше кидає трафік нових сайтів.

Порівняння: генератор PromoPilot та інші способи створення robots.txt

Висновок: генератор – найшвидший спосіб отримати коректний файл без знання синтаксису. Плагін та код проекту зручні, коли файл має змінюватись разом із сайтом.

Генератор - один із 87 безкоштовних SEO-інструментів PromoPilot. Після завантаження файлу перевірте його аналізатором robots.txt, а для рядка Sitemap стане в нагоді генератор sitemap.xml — обом присвячені сусідні статті розділу.

Обмеження генератора: що він не зробить вас?

Генератор не знає структури вашого сайту. Пресет WordPress закриє типові службові шляхи, але не здогадається, що ваш магазин фільтри живуть в /filter/, а внутрішній пошук — в /find/. Ці шляхи потрібно вписати самостійно.

Він не завантажує файл на сервер і не перевіряє, чи файл доступний за адресою /robots.txt з кодом 200. Після завантаження відкрийте адресу в браузері або проженіть його через аналізатор.

І він не замінює noindex: якщо мета - прибрати сторінки з пошуку, robots.txt для цього не підходить. Нарешті, файл не захищає дані: він публічний, і будь-хто може прочитати які розділи ви закрили. Таємне ховають за паролем.

Коли безкоштовний інструмент мало?

Згенерувати файл – п'ять хвилин. Вирішити, що закривати на сайті із тисячами сторінок — робота. Фахівець потрібен, якщо:

• у магазину сотні комбінацій фільтрів, і частина їх приносить трафік;
• сайт багатомовний, на піддоменах чи з окремими папками під мови;
• після виправлення robots.txt впав трафік, і незрозуміло, яке правило винне;
• потрібно узгодити robots.txt, метатеги, canonical та карту сайту в одну систему.

Що я можу зробити для вашого сайту?

Мене звуть Валерій Данюк, я розробник та SEO-фахівець: 12 років, 200+ клієнтів. Правильний robots.txt є частиною кожного сайту, який я здаю.

SEO та просування

• SEO-аудит під ключ: robots.txt, noindex, canonical і карта сайту як єдина система, а не набір випадкових правил.
• SEO-блог з ІІ, який наводить клієнтів з органіки.
• Багатомовний сайт без перекладача – де robots.txt та карта сайту повинні враховувати всі мови.

Сайти та інтернет-магазини

• Інтернет-магазин на WooCommerce: 40+ шаблонів, 299 € — з robots.txt під кошик, фільтри та оформлення замовлення.
• Сайт на 1001site, де sitemap та індексація налаштовані автоматично. Чим це відрізняється від конструктора з абонплатою - у розборі Тільда або сайт з ІІ.

CRM, облік та автоматизація

• Система обліку з інтернет-магазином за місяць – проект для компанії з Чехії.
• QuestFlow - SaaS-конструктор Telegram -ботів з ІІ.

Більше – у портфоліо. Чи не впевнені, що закривати? Надішліть адресу сайту в Telegram - підкажу правила під вашу структуру.

Підсумок

1. Генератор robots.txt онлайн збирає коректний файл за п'ять хвилин: пресет, шляхи, Sitemap, прапорці.
2. Закривайте адмінку, кошик, пошук та службові папки; не закривайте CSS, JS, каталог та блог.
3. robots.txt не прибирає сторінки з індексу - для цього noindex.
4. Складна структура, фільтри та мови - привід довірити налаштування фахівця або зібрати сайт на 1001site, де індексація налаштована з коробки.

Зберіть свій файл прямо зараз у безкоштовному генераторі robots.txt, а якщо сумніваєтеся в правилах - напишіть мені Telegram.

Джерела

• Сторінка інструменту «Генератор robots.txt» PromoPilot — налаштування, пресети та питання сторінки.
• Google Search Central — як створити та надіслати файл robots.txt.
• Документація Next.js - файл метаданих robots.