Кратак одговор: да бисте креирали датотеку robots.txt онлајн, отворите генератор robots.txt датотека PromoPilot, изаберите унапред подешену поставку (Прилагођено, Дозволи све, Забрани све, WordPress, Laravel или Next.js), унесите путање за Disallow и Allow, унесите адресу веб странице за ред Sitemap и опционо означите Crawl-delay или block AI crawlers. Завршена датотека ће се појавити са десне стране — можете је копирати или преузети. Бесплатно је и не захтева регистрацију.
Пишем robots.txt за сваки нови веб сајт и знам колико је лако ручно направити грешке: додатни размак, заборављена коса црта, правило ван блока. Конструктор robots.txt елиминише овај проблем — размишљате о томе шта да затворите, а не о синтакси. У наставку ћемо објаснити како да га користите, шта да затворите и где да ставите готов фајл.
Шта ради генератор robots.txt датотеке?
Генератор је образац уместо уређивача текста. Ви бирате подешавања, а алат их саставља у важећу датотеку и приказује је у прегледу уживо.
| Подешавање | Шта сетови | Зашто је ово потребно сајту? |
|---|---|---|
| Унапред подешено | Прилагођено, Дозволи све, Забрани све, WordPress, Laravel, Next.js | Готова почетна тачка за ваш мотор |
| URL веб-сајта | Адреса за ред за мапу Sitemap | Роботи сами проналазе мапу сајта |
| Забрани путање | Одељци који се не скенирају, један по реду | Робот не губи време на администраторском панелу и страницама услуга. |
| Дозволи путање | Изузеци унутар затворених одељака | Отворите жељену датотеку у затвореној фасцикли |
| Кашњење претраживања (10 секунди) | Пауза између захтева робота | Растерећење слабог сервера за роботе који то узимају у обзир |
| Блокирање вештачких претраживача | Забрана за GPTBot, Claude и друге AI ботове | Контролишите ко користи ваш садржај |
| Преглед, копирање, преузимање | Завршена датотека robots.txt | Можете га одмах отпремити на сервер. |
Важно је разумети ограничење: генератор креира датотеку, али не проверава постојећу. Ако већ имате robots.txt датотеку и желите да пронађете грешке у њој, потребно је да анализирате robots.txt датотеку — чланак у следећем одељку је посвећен томе.
Како креирати robots.txt датотеку онлајн?
- Отворите генератор robots.txt датотека.
- Изаберите унапред подешену поставку за ваш мотор. Ако ваш мотор није наведен, изаберите „Прилагођено“.
- Унесите адресу веб-сајта —
https://example.com. Ово ће креирати редSitemap. - Додајте путање за забрану, по једну у сваки ред:
/admin/,/tmp/,/search/. - Ако је потребно, додајте Дозволи изузетке унутар ограничених фасцикли, као што је
/uploads/images/. - Означите поља: Мапа сајта, Одлагање претраживања, блокирај вештачке интелигенције претраживаче.
- Копирајте или преузмите датотеку и отпремите је у корен сајта.
На левој страни странице су подешавања, а на десној је преглед датотеке уживо са дугмадима „Копирај“ и „Преузми robots.txt“.
Датотека мора бити лоцирана искључиво у корену домена: https://example.com/robots.txt. Роботи је неће пронаћи у фолдеру /blog/robots.txt или на другом поддомену — сваки поддомен има своју датотеку robots.txt.
Где тачно отпремити преузету датотеку зависи од платформе:
- Редовно хостовање - преко менаџера датотека панела или ФТП-а до фасцикле у којој се налази главна страница (често
public_htmlилиwww). - WordPress — ако нема физичке датотеке, претраживач служи виртуелној датотеци robots.txt. Отпремање датотеке у коренски директоријум је замењује; друга опција је коришћење уређивача датотека у SEO додатку.
- Next.js и други фрејмворци — датотека се ставља у
publicфасциклу или генерише из пројектног кода како се не би изгубила током следећег распоређивања. - Конструктори веб страница - датотека се обично уређује у SEO подешавањима уместо да се ручно отпрема.
Датотека мора бити названа robots.txt малим словима и сачувана у UTF-8 кодирању као обичан текст. Након преузимања, отворите је у прегледачу: ако видите свој текст, све је на свом месту.
Шта треба, а шта не треба да буде затворено у robots.txt датотеци?
Главни принцип: затворите све што не додаје вредност претрази и троши време робота. Не затварајте ништа што је неопходно да би робот разумео страницу.
Обично затворено:
- администраторски панел и лични налог:
/admin/,/wp-admin/,/account/; - колица и плаћање:
/cart/,/checkout/; - интерна претрага:
/search/,/?s=; - сервисне и привремене фасцикле:
/tmp/,/cgi-bin/; - Бесконачне комбинације филтера и опција сортирања - уредно, само ако постоје одвојене одредишне странице за потребне филтере.
Никад не затварајте:
- CSS, JavaScript и слике — без њих, Google неће видети страницу онако како би је човек видео;
- каталог, блог, картице производа и одредишне странице;
- странице које желите да уклоните из индекса - за ово вам је потребан
noindex, а робот мора бити у стању да га прочита.
Ево датотеке коју ћете добити за типичну WordPress продавницу са WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Што се тиче заставица. Google не узима у обзир кашњење претраживања — омогућите га само ако ваш сервер пати од других ботова. Блокирање вештачких претраживача је пословна одлука: ако желите да ChatGPT, Gemini и Perplexity знају за вас и препоруче вас, не блокирајте им приступ.
Још једна практична ствар је тест верзија сајта. За припремну копију користите унапред подешено подешавање „Забрани све“, али обавезно замените датотеку приликом покретања: заборављени Disallow: / је оно што најчешће смањује саобраћај ка новим сајтовима.
Поређење: Генератор PromoPilot-а и други начини за креирање датотеке Robots.txt
| Пут | Шта је бесплатно? | Ограничења | За кога је погодно? |
|---|---|---|---|
| PromoPilot — Генератор Robots.txt датотека | Унапред подешена подешавања, Дозволи и Забрани, Мапа сајта, Одлагање претраживања, Блокирање AI ботом, Преузимање | Морате сами да отпремите датотеку на сервер. | За почетнике и све који не желе да памте синтаксу |
| Уређивач у WordPress SEO додатку (нпр. Yoast SEO) | Уређивање датотеке директно из администраторског панела | Само за WordPress, сами пишете синтаксу | За власнике WordPress веб страница |
| Датотека робота у Next.js | robots.txt се генерише из кода пројекта | Потребан програмер | Next.js пројекти |
| Уређивач текста | Потпуна слобода | Лако је направити грешке, нема назнака | За оне који знају стандард напамет |
Закључак: Генератор је најбржи начин да се добије валидна датотека без познавања синтаксе. Плагин и пројектни код су практични када датотека треба да се мења заједно са веб-сајтом.
Генератор је један од 87 бесплатних SEO алата компаније PromoPilot. Након преузимања датотеке, проверите је помоћу анализатора robots.txt, а за линију мапе сајта користите генератор sitemap.xml — оба су обрађена у суседним чланцима у овом одељку.
Ограничења генератора: Шта вам неће користити
Генератор не познаје структуру вашег сајта. WordPress подешавање ће затворити типичне путање услуга, али неће претпоставити да се филтери ваше продавнице налазе у /filter/, а интерна претрага у /find/. Мораћете сами да унесете ове путање.
Не отпрема датотеку на сервер нити проверава да ли је датотека доступна на /robots.txt са статусним кодом 200. Након отпремања, отворите адресу у прегледачу или је покрените кроз парсер.
И не замењује noindex: ако је циљ уклањање страница из резултата претраге, robots.txt није погодан. Коначно, датотека не штити ваше податке: јавна је и свако може да прочита које сте одељке закључали. Тајне су скривене иза лозинке.
Када бесплатан алат није довољан?
Генерисање датотеке траје пет минута. Одлучивање шта закључати на сајту са хиљадама страница је велики посао. Потребан вам је стручњак ако:
- Продавница има стотине комбинација филтера, а неке од њих генеришу саобраћај;
- сајт је вишејезичан, на поддоменима или са одвојеним фасциклама за језике;
- Након уређивања датотеке robots.txt, саобраћај је опао, и није јасно које правило је кривац;
- Потребно је да ускладите robots.txt, мета ознаке, canonical и sitemap у један систем.
Шта могу да урадим за ваш веб-сајт?
Моје име је Валериј Дањук, ја сам програмер и SEO специјалиста са 12 година искуства и преко 200 клијената. Правилна robots.txt датотека је део сваког веб-сајта који направим.
SEO и промоција
- SEO ревизија по принципу „кључ у руке“: robots.txt, noindex, canonical и sitemap као јединствени систем, а не скуп случајних правила.
- SEO блог са вештачком интелигенцијом који доноси органске потенцијалне клијенте.
- Вишејезична веб страница без преводиоца — где robots.txt и sitemap морају узети у обзир све језике.
Веб странице и онлајн продавнице
- WooCommerce онлајн продавница: 40+ шаблона, 299 € — са robots.txt за корпу, филтере и плаћање.
- Веб сајт на 1001site, где се мапа сајта и индексирање конфигуришу аутоматски. По чему се ово разликује од креатора сајта са претплатом? Tilda наспрам анализе веб сајта помоћу вештачке интелигенције.
CRM, рачуноводство и аутоматизација
- Месечни рачуноводствени систем за онлајн продавницу – пројекат за компанију из Чешке Републике.
- QuestFlow је SaaS креатор Telegram ботове са вештачком интелигенцијом.
Више у портфолију. Нисте сигурни шта да покријете? Пошаљите ми адресу вашег веб-сајта у Telegram – предложићу правила за вашу структуру.
Резултат
- Онлајн генератор robots.txt креира исправну датотеку за пет минута: пресет, путање, мапа сајта, заставице.
- Затворите администраторски панел, корпу за отпатке, претрагу и фасцикле услуга; не затварајте CSS, JS, каталог или блог.
- robots.txt не уклања странице из индекса - за то служи
noindex. - Сложена структура, филтери и језици су разлог да подешавање поверите стручњаку или да направите сајт на 1001site, где је индексирање конфигурисано одмах.
Направите сопствену датотеку robots.txt одмах користећи бесплатни генератор robots.txt, а ако имате било каквих питања о правилима, пишите ми на Telegram.
Извори
- Страница алата за генерисање robots.txt датотека на PromoPilot-у — подешавања, унапред подешена подешавања и питања о страници.
- Google центар за претрагу - Како креирати и послати датотеку Robots.txt.
- Документација Next.js - датотека са метаподацима робота.
