Генератор robots.txt онлайн: как собрать правильный файл за 5 минут без ошибок

Короткий ответ: чтобы создать robots.txt онлайн, откройте Генератор robots.txt PromoPilot, выберите пресет (Свой, Разрешить всё, Запретить всё, WordPress, Laravel или Next.js), впишите пути для Disallow и Allow, укажите адрес сайта для строки Sitemap и при желании отметьте Crawl-delay или блокировку ИИ-краулеров. Справа сразу появится готовый текст файла — его можно скопировать или скачать. Бесплатно и без регистрации.

Я пишу robots.txt для каждого нового сайта и знаю, как легко ошибиться вручную: лишний пробел, забытая косая черта, правило вне блока. Конструктор снимает эту проблему — вы думаете о том, что закрыть, а не о синтаксисе. Ниже — как им пользоваться, что закрывать и куда положить готовый файл.

Что делает генератор robots.txt?

Генератор — это форма вместо текстового редактора. Вы выбираете настройки, а инструмент собирает из них корректный файл и показывает его в живом превью.

Важно понимать границу: генератор создаёт файл, но не проверяет уже существующий. Если у вас robots.txt уже есть и вы хотите найти в нём ошибки, нужен анализ robots.txt — этому посвящена соседняя статья раздела.

Как создать robots.txt онлайн?

1. Откройте генератор robots.txt.
2. Выберите пресет под свой движок. Если движка нет в списке — «Свой вариант».
3. Впишите адрес сайта — https://example.com. Из него появится строка Sitemap.
4. Добавьте пути Disallow, по одному в строке: /admin/, /tmp/, /search/.
5. При необходимости добавьте Allow — исключения внутри закрытых папок, например /uploads/images/.
6. Отметьте флажки: Sitemap, Crawl-delay, блокировка ИИ-краулеров.
7. Скопируйте или скачайте файл и загрузите его в корень сайта.

Слева на странице — настройки, справа — живое превью файла с кнопками «Копировать» и «Скачать robots.txt».

Файл должен лежать строго в корне домена: https://example.com/robots.txt. В папке /blog/robots.txt или на другом поддомене роботы его не найдут — у каждого поддомена свой robots.txt.

Куда именно загрузить скачанный файл, зависит от платформы:

• Обычный хостинг — через файловый менеджер панели или FTP в папку, где лежит главная страница (часто public_html или www).
• WordPress — если физического файла нет, движок отдаёт виртуальный robots.txt. Загруженный в корень файл заменяет его; второй путь — редактор файла в SEO-плагине.
• Next.js и другие фреймворки — файл кладут в папку public или генерируют из кода проекта, чтобы он не потерялся при следующем деплое.
• Конструкторы сайтов — обычно файл правится в настройках SEO, а не загружается вручную.

Файл должен называться строго robots.txt в нижнем регистре и сохраняться в кодировке UTF-8 как обычный текст. После загрузки откройте его в браузере: если видите свой текст — всё на месте.

Что закрывать в robots.txt, а что нельзя?

Главный принцип: закрывайте то, что не несёт пользы в поиске и тратит время робота. Не закрывайте то, без чего робот не поймёт страницу.

Обычно закрывают:

• админку и личный кабинет: /admin/, /wp-admin/, /account/;
• корзину и оформление заказа: /cart/, /checkout/;
• внутренний поиск: /search/, /?s=;
• служебные и временные папки: /tmp/, /cgi-bin/;
• бесконечные комбинации фильтров и сортировок — аккуратно, только если есть отдельные посадочные страницы под нужные фильтры.

Никогда не закрывайте:

• CSS, JavaScript и картинки — без них Google не увидит страницу так, как её видит человек;
• каталог, блог, карточки товаров и посадочные страницы;
• страницы, которые хотите убрать из индекса, — для этого нужен noindex, а робот должен иметь возможность его прочитать.

Вот файл, который получится для типичного магазина на WordPress с WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

О флажках. Crawl-delay Googlebot не учитывает — включайте его, только если сервер страдает от других роботов. Блокировка ИИ-краулеров — решение бизнеса: если вы хотите, чтобы ChatGPT, Gemini и Perplexity знали о вас и советовали вас, не закрывайте им доступ.

Ещё один практический момент — тестовая версия сайта. Для staging-копии используйте пресет «Запретить всё», но обязательно замените файл при запуске: именно забытый Disallow: / чаще всего роняет трафик новых сайтов.

Сравнение: генератор PromoPilot и другие способы создать robots.txt

Вывод: генератор — самый быстрый способ получить корректный файл без знания синтаксиса. Плагин и код проекта удобны, когда файл должен меняться вместе с сайтом.

Генератор — один из 87 бесплатных SEO-инструментов PromoPilot. После загрузки файла проверьте его анализатором robots.txt, а для строки Sitemap пригодится генератор sitemap.xml — обоим посвящены соседние статьи раздела.

Ограничения генератора: что он не сделает за вас?

Генератор не знает структуру вашего сайта. Пресет WordPress закроет типовые служебные пути, но не догадается, что у вашего магазина фильтры живут в /filter/, а внутренний поиск — в /find/. Эти пути нужно вписать самостоятельно.

Он не загружает файл на сервер и не проверяет, что файл доступен по адресу /robots.txt с кодом 200. После загрузки откройте адрес в браузере или прогоните его через анализатор.

И он не заменяет noindex: если цель — убрать страницы из поиска, robots.txt для этого не подходит. Наконец, файл не защищает данные: он публичен, и любой может прочитать, какие разделы вы закрыли. Секретное прячут за паролем.

Когда бесплатного инструмента мало?

Сгенерировать файл — пять минут. Решить, что закрывать на сайте с тысячами страниц, — работа. Специалист нужен, если:

• у магазина сотни комбинаций фильтров, и часть из них приносит трафик;
• сайт многоязычный, на поддоменах или с отдельными папками под языки;
• после правки robots.txt упал трафик, и непонятно, какое правило виновато;
• нужно согласовать robots.txt, метатеги, canonical и карту сайта в одну систему.

Что я могу сделать для вашего сайта?

Меня зовут Валерий Данюк, я разработчик и SEO-специалист: 12 лет, 200+ клиентов. Правильный robots.txt — часть каждого сайта, который я сдаю.

SEO и продвижение

• SEO-аудит под ключ: robots.txt, noindex, canonical и карта сайта как единая система, а не набор случайных правил.
• SEO-блог с ИИ, который приводит клиентов из органики.
• Многоязычный сайт без переводчика — где robots.txt и карта сайта должны учитывать все языки.

Сайты и интернет-магазины

• Интернет-магазин на WooCommerce: 40+ шаблонов, 299 € — с robots.txt под корзину, фильтры и оформление заказа.
• Сайт на 1001site, где sitemap и индексация настроены автоматически. Чем это отличается от конструктора с абонплатой — в разборе Тильда или сайт с ИИ.

CRM, учёт и автоматизация

• Система учёта с интернет-магазином за месяц — проект для компании из Чехии.
• QuestFlow — SaaS-конструктор Telegram-ботов с ИИ.

Больше — в портфолио. Не уверены, что закрывать? Пришлите адрес сайта в Telegram — подскажу правила под вашу структуру.

Итог

1. Генератор robots.txt онлайн собирает корректный файл за пять минут: пресет, пути, Sitemap, флажки.
2. Закрывайте админку, корзину, поиск и служебные папки; не закрывайте CSS, JS, каталог и блог.
3. robots.txt не убирает страницы из индекса — для этого noindex.
4. Сложная структура, фильтры и языки — повод доверить настройку специалисту или собрать сайт на 1001site, где индексация настроена из коробки.

Соберите свой файл прямо сейчас в бесплатном генераторе robots.txt, а если сомневаетесь в правилах — напишите мне в Telegram.

Источники

• Страница инструмента «Генератор robots.txt» PromoPilot — настройки, пресеты и вопросы страницы.
• Google Search Central — как создать и отправить файл robots.txt.
• Документация Next.js — файл метаданных robots.