Ҷавоби кӯтоҳ: барои эҷоди файли robots.txt онлайн, генератори PromoPilot robots.txt-ро кушоед, танзимоти пешакӣ (Custom, Allow all, Deny all, WordPress, Laravel ё Next.js)-ро интихоб кунед, роҳҳоро барои Disallow ва Allow ворид кунед, суроғаи вебсайтро барои сатри харитаи сайт ворид кунед ва ихтиёрӣ Crawl-delay ё block crawlers-и зеҳни сунъӣ-ро қайд кунед. Файли пуршуда дар тарафи рост пайдо мешавад - шумо метавонед онро нусхабардорӣ кунед ё зеркашӣ кунед. Он ройгон аст ва бақайдгириро талаб намекунад.
Ман барои ҳар як вебсайти нав robots.txt менависам ва медонам, ки хатогиҳоро дастӣ кардан то чӣ андоза осон аст: фосилаи иловагӣ, хати фаромӯшшуда, қоидае берун аз блок. Созандаи robots.txt ин мушкилотро бартараф мекунад - шумо дар бораи он фикр мекунед, ки чӣ бояд пӯшед, на дар бораи синтаксис. Дар зер мо шарҳ медиҳем, ки чӣ тавр онро истифода барем, чӣ бояд пӯшем ва файли тайёрро дар куҷо ҷойгир кунем.
Генератори robots.txt чӣ кор мекунад?
Генератор ба ҷои муҳаррири матнӣ шакл аст. Шумо танзимотро интихоб мекунед ва асбоб онҳоро ба файли дуруст ҷамъ карда, онро дар пешнамоиши мустақим нишон медиҳад.
| Танзимот | Чӣ муқаррар мекунад | Чаро сайт ба ин ниёз дорад? |
|---|---|---|
| Танзимоти пешакӣ | Фармоишӣ, Иҷозат додан ба ҳама, Рад кардани ҳама, WordPress, Laravel, Next.js | Нуқтаи ибтидоии омода барои муҳаррики шумо |
| URL-и вебсайт | Суроға барои сатри Sitemap | Роботҳо харитаи сайтро худашон пайдо мекунанд |
| Роҳҳоро манъ кунед | Бахшҳое, ки набояд скан карда шаванд, яктоӣ дар як сатр | Робот вақтро дар панели маъмурӣ ва саҳифаҳои хидматрасонӣ беҳуда сарф намекунад. |
| Роҳҳоро иҷозат диҳед | Истисноҳо дар дохили бахшҳои баста | Файли дилхоҳро дар ҷузвдони пӯшида кушоед |
| Таъхири хазидан (10 сония) | Таваққуф байни дархостҳои робот | Сабук кардани сарборӣ дар сервери заиф барои роботҳое, ки онро ба назар мегиранд |
| Бастани крейсерҳои зеҳни сунъӣ | Манъ кардани GPTBot, Claude ва дигар ботҳои зеҳни сунъӣ | Назорат кунед, ки кӣ мундариҷаи шуморо истифода мебарад |
| Пешнамоиш, нусхабардорӣ, зеркашӣ | Файли тайёри robots.txt | Шумо метавонед онро фавран ба сервер бор кунед. |
Фаҳмидани маҳдудият муҳим аст: генератор файлеро эҷод мекунад, аммо файли мавҷударо тафтиш намекунад. Агар шумо аллакай файли robots.txt дошта бошед ва мехоҳед хатогиҳоро дар он пайдо кунед, шумо бояд файли robots.txt-ро таҳлил кунед - мақола дар бахши оянда ба ин бахшида шудааст.
Чӣ тавр robots.txt-ро онлайн эҷод кардан мумкин аст?
- Генератори robots.txt-ро кушоед.
- Барои муҳаррики худ танзимоти пешакӣ интихоб кунед. Агар муҳаррики шумо дар рӯйхат набошад, "Фармоишӣ"-ро интихоб кунед.
- Суроғаи вебсайтро ворид кунед —
https://example.com. Ин сатриSitemapэҷод мекунад. - Роҳҳои манъшударо, яктоӣ дар як сатр илова кунед:
/admin/,/tmp/,/search/. - Агар лозим бошад, банди "Иҷозат додан ба истисноҳо"-ро дар дохили ҷузвдонҳои маҳдудшуда, ба монанди
/uploads/images/, илова кунед. - Қуттиҳоро қайд кунед: Харитаи сайт, Таъхири ҷустуҷӯ, блок кардани крейсерҳои зеҳни сунъӣ.
- Файлро нусхабардорӣ ё зеркашӣ кунед ва онро ба решаи сайт бор кунед.
Дар тарафи чапи саҳифа танзимот ва дар тарафи рост пешнамоиши мустақими файл бо тугмаҳои "Нусхабардорӣ" ва "Download robots.txt" ҷойгир аст.
Файл бояд қатъиян дар решаи домен ҷойгир бошад: https://example.com/robots.txt. Роботҳо онро дар ҷузвдони /blog/robots.txt ё дар зердомени дигар пайдо карда наметавонанд - ҳар як зердомен файли robots.txt-и худро дорад.
Дар куҷо бор кардани файли зеркашишуда аз платформа вобаста аст:
- Хостинги муқаррарӣ - тавассути менеҷери файлҳои панел ё FTP ба ҷузвдоне, ки саҳифаи асосӣ дар он ҷойгир аст (аксар вақт
public_htmlёwww). - WordPress — агар файли ҷисмонӣ вуҷуд надошта бошад, муҳаррик файли виртуалии robots.txt-ро пешниҳод мекунад. Бор кардани файл ба реша онро иваз мекунад; варианти дуюм истифодаи муҳаррири файл дар плагини SEO мебошад.
- Next.js ва дигар фреймворкҳо — файл дар папкаи
publicҷойгир карда мешавад ё аз рамзи лоиҳа тавлид мешавад, то ки ҳангоми ҷойгиркунии навбатӣ гум нашавад. - Созандагони вебсайт - файл одатан дар танзимоти SEO таҳрир карда мешавад, на дастӣ боргузорӣ.
Файл бояд бо ҳарфҳои хурд robots.txt номгузорӣ шуда, дар рамзгузории UTF-8 ҳамчун матни оддӣ захира карда шавад. Пас аз зеркашӣ, онро дар браузери худ кушоед: агар шумо матни худро бинед, ҳама чиз дар ҷои худ аст.
Дар robots.txt чӣ бояд пӯшида ва чӣ набояд пӯшида шавад?
Принсипи асосӣ: ҳама чизеро, ки ба ҷустуҷӯ арзиш намебахшад ва вақти роботро беҳуда сарф мекунад, пӯшед. Ҳеҷ чизеро, ки барои фаҳмидани саҳифа аз ҷониби робот муҳим аст, пӯшед.
Одатан баста мешавад:
- панели администратор ва ҳисоби шахсӣ:
/admin/,/wp-admin/,/account/; - ароба ва пардохт:
/cart/,/checkout/; - ҷустуҷӯи дохилӣ:
/search/,/?s=; - ҷузвдонҳои хидматӣ ва муваққатӣ:
/tmp/,/cgi-bin/; - Омезишҳои беохири филтрҳо ва имконоти ҷудокунӣ - тоза, танҳо дар сурате, ки саҳифаҳои алоҳидаи фуруд барои филтрҳои зарурӣ мавҷуд бошанд.
Ҳеҷ гоҳ пӯшидан:
- CSS, JavaScript ва тасвирҳо — бе онҳо, Google саҳифаро он тавре ки инсон мебинад, нахоҳад дид;
- каталог, блог, кортҳои маҳсулот ва саҳифаҳои фурӯш;
- саҳифаҳое, ки шумо мехоҳед аз индекс тоза кунед - барои ин ба шумо
noindexлозим аст ва робот бояд қодир бошад, ки онро хонад.
Ин файлест, ки шумо барои мағозаи маъмулии WordPress бо WooCommerce мегиред:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Дар мавриди парчамҳо. Google таъхири ҷустуҷӯро ба назар намегирад - онро танҳо дар сурате фаъол созед, ки сервери шумо аз дигар ботҳо азият мекашад. Бастани ҷустуҷӯкунандагони зеҳни сунъӣ як қарори тиҷоратӣ аст: агар шумо хоҳед, ки ChatGPT, Gemini ва Perplexity дар бораи шумо маълумот дошта бошанд ва шуморо тавсия диҳанд, дастрасии онҳоро манъ накунед.
Нуктаи дигари амалӣ версияи озмоишии сайт аст. Барои нусхаи ибтидоӣ, аз танзимоти пешакӣ "Рад кардани ҳама" истифода баред, аммо ҳатман файлро ҳангоми оғоз иваз кунед: Disallow: / фаромӯшшуда аксар вақт трафикро ба сайтҳои нав кам мекунад.
Муқоиса: Генератори PromoPilot ва дигар роҳҳои эҷоди роботҳо.txt
| Роҳ | Чӣ ройгон аст? | Маҳдудиятҳо | Он барои кӣ мувофиқ аст? |
|---|---|---|---|
| PromoPilot — Генератори Robots.txt | Танзимоти пешакӣ, Иҷозат надодан ва манъ кардан, Харитаи сайт, Таъхири ҷустуҷӯ, Бастани боти зеҳни сунъӣ, зеркашӣ | Шумо бояд файлро худатон ба сервер бор кунед. | Барои шурӯъкунандагон ва ҳар касе, ки намехоҳад синтаксисро дар хотир нигоҳ дорад |
| Муҳаррир дар плагини SEO WordPress (масалан, Yoast SEO) | Таҳрири файл мустақиман аз панели идоракунӣ | Танҳо барои WordPress, шумо худатон синтаксисро менависед | Барои соҳибони вебсайтҳои WordPress |
| Файли роботҳо дар Next.js | robots.txt аз рамзи лоиҳа тавлид мешавад | Таҳиягар лозим аст | Лоиҳаҳои Next.js |
| Муҳаррири матн | Озодии комил | Хатогӣ кардан осон аст, ягон нишонае нест | Барои онҳое, ки стандартро азёд медонанд |
Хулоса: Генератор роҳи зудтарини ба даст овардани файли дуруст бе донистани синтаксис аст. Плагин ва рамзи лоиҳа вақте қулайанд, ки файл бояд ҳамроҳ бо вебсайт тағир дода шавад.
Ин генератор яке аз 87 абзори ройгони SEO-и PromoPilot мебошад. Пас аз зеркашии файл, онро бо таҳлилгари robots.txt санҷед ва барои сатри харитаи сайт, генератори sitemap.xml-ро истифода баред - ҳарду дар мақолаҳои ҳамшафати ин бахш баррасӣ шудаанд.
Маҳдудиятҳои генератор: Он чизе, ки барои шумо кор намекунад
Генератор сохтори сайти шуморо намедонад. Танзимоти пешфарзии WordPress роҳҳои маъмулии хидматрасониро мебандад, аммо он тахмин намекунад, ки филтрҳои мағозаи шумо дар /filter/ ва ҷустуҷӯи дохилӣ дар /find/ ҷойгиранд. Шумо бояд ин роҳҳоро худатон ворид кунед.
Он файлро ба сервер бор намекунад ё тафтиш намекунад, ки оё файл дар /robots.txt бо рамзи ҳолати 200 дастрас аст. Пас аз боргузорӣ, суроғаро дар браузер кушоед ё онро тавассути таҳлилгари парсер иҷро кунед.
Ва он noindex иваз намекунад: агар ҳадаф нест кардани саҳифаҳо аз натиҷаҳои ҷустуҷӯ бошад, robots.txt мувофиқ нест. Ниҳоят, файл маълумоти шуморо муҳофизат намекунад: он оммавӣ аст ва ҳар кас метавонад бихонад, ки кадом бахшҳоро шумо қулф кардаед. Асрорҳо дар паси парол пинҳон карда шудаанд.
Вақте ки як воситаи ройгон кофӣ нест?
Эҷоди файл панҷ дақиқа вақтро мегирад. Муайян кардани он, ки чӣ бояд дар сайте бо ҳазорҳо саҳифа қулф карда шавад, кори зиёд аст. Агар:
- Мағоза садҳо комбинатсияи филтр дорад ва баъзеи онҳо трафикро ба вуҷуд меоранд;
- сайт бисёрзабона аст, дар зердоменҳо ё бо ҷузвдонҳои алоҳида барои забонҳо;
- Пас аз таҳрири robots.txt, трафик кам шуд ва маълум нест, ки кадом қоида айбдор аст;
- Шумо бояд robots.txt, meta tegs, canonical ва sitemap-ро дар як система ҳамоҳанг созед.
Ман барои вебсайти шумо чӣ кор карда метавонам?
Номи ман Валерий Данюк аст, ман як таҳиягар ва мутахассиси SEO бо 12 соли таҷриба ва зиёда аз 200 муштарӣ ҳастам. Файли дурусти robots.txt қисми ҳар як вебсайте мебошад, ки ман месозам.
SEO ва таблиғот
- Аудити SEO-и омода: robots.txt, noindex, canonical ва sitemap ҳамчун системаи муттаҳид, на маҷмӯи қоидаҳои тасодуфӣ.
- Блоги SEO бо истифода аз зеҳни сунъӣ, ки муштариёни органикиро ҷалб мекунад.
- Вебсайти бисёрзабона бидуни тарҷумон — ки дар он robots.txt ва sitemap бояд ҳамаи забонҳоро ба назар гиранд.
Вебсайтҳо ва мағозаҳои онлайн
- Мағозаи онлайни WooCommerce: зиёда аз 40 шаблон, 299 евро — бо robots.txt барои ароба, филтрҳо ва пардохт.
- Вебсайт дар 1001site, ки дар он харитаи сайт ва индексатсия ба таври худкор танзим карда мешаванд. Ин аз созандае, ки пардохти обуна дорад, чӣ фарқ дорад? Таҳлили вебсайт бо истифода аз Tilda ва зеҳни сунъӣ.
CRM, баҳисобгирӣ ва автоматизатсия
- Системаи баҳисобгирии моҳона барои мағозаи онлайн - лоиҳа барои як ширкат аз Ҷумҳурии Чех.
- QuestFlow як созандаи SaaS Telegram бо зеҳни сунъӣ мебошад.
Маълумоти бештар дар портфолио. Намедонед, ки чиро фаро гиред? Суроғаи вебсайти худро дар Telegram ба ман фиристед - ман қоидаҳоро барои сохтори шумо пешниҳод мекунам.
Натиҷа
- Генератори robots.txt-и онлайн файли дурустро дар панҷ дақиқа эҷод мекунад: танзимоти пешакӣ, роҳҳо, харитаи сайт, парчамҳо.
- Панели маъмурӣ, сабади партов, ҷузвдонҳои ҷустуҷӯ ва хидматрасониро пӯшед; CSS, JS, каталог ё блогро пӯшед.
- robots.txt саҳифаҳоро аз индекс нест намекунад - ин аст он чизе ки
noindexбарои он аст. - Сохтори мураккаб, филтрҳо ва забонҳо сабаби супоридани насб ба мутахассис ё сохтани сайт дар 1001site мебошанд, ки дар он индексатсия аз қуттӣ танзим карда мешавад.
Файли robots.txt-и худро бо истифода аз генератори ройгони robots.txt ҳоло эҷод кунед ва агар шумо дар бораи қоидаҳо ягон савол дошта бошед, ба ман дар Telegram нависед.
Манбаъҳо
- Саҳифаи генератори robots.txt аз PromoPilot — танзимот, пешакӣ танзимот ва саволҳои саҳифа.
- Ҷустуҷӯи марказии Google - Чӣ тавр файли Robots.txt-ро эҷод ва пешниҳод кардан мумкин аст.
- Ҳуҷҷатҳои Next.js - файли метамаълумоти роботҳо.
