Կարճ պատասխան. robots.txt ֆայլ առցանց ստեղծելու համար բացեք PromoPilot robots.txt գեներատորը, ընտրեք նախադրված կարգավորում (Custom, Allow all, Deny all, WordPress, Laravel կամ Next.js), մուտքագրեք Dislellow և Allow ուղիները, մուտքագրեք կայքի հասցեն Sitemap տողի համար և ըստ ցանկության նշեք Crawl-delay կամ Block AI crawlers տարբերակները: Լրացված ֆայլը կհայտնվի աջ կողմում. կարող եք այն պատճենել կամ ներբեռնել: Այն անվճար է և գրանցում չի պահանջում:
Ես robots.txt ֆայլ եմ գրում յուրաքանչյուր նոր կայքի համար և գիտեմ, թե որքան հեշտ է ձեռքով սխալներ թույլ տալ՝ լրացուցիչ բացատ, մոռացված թեք գիծ, բլոկից դուրս կանոն: robots.txt կառուցողը վերացնում է այս խնդիրը. դուք մտածում եք, թե ինչը փակել, այլ ոչ թե շարահյուսության մասին: Ստորև մենք կբացատրենք, թե ինչպես օգտագործել այն, ինչը փակել և որտեղ տեղադրել պատրաստի ֆայլը:
Ի՞նչ է անում robots.txt գեներատորը։
Գեներատորը ձև է, այլ ոչ թե տեքստային խմբագրիչ։ Դուք ընտրում եք կարգավորումները, և գործիքը դրանք հավաքում է վավեր ֆայլի մեջ և ցուցադրում այն կենդանի նախադիտման ռեժիմում։
| Կարգավորում | Ի՞նչ հավաքածուներ | Ինչո՞ւ է կայքին սա պետք։ |
|---|---|---|
| Նախադրված | Հատուկ, Թույլատրել բոլորը, Մերժել բոլորը, WordPress, Laravel, Next.js | Ձեր շարժիչի համար պատրաստի մեկնարկային կետ |
| Կայքի URL-ը | Sitemap տողի հասցեն | Ռոբոտները իրենք են գտնում կայքի քարտեզը |
| Արգելել ուղիները | Սկանավորվող չլինող հատվածներ՝ մեկական յուրաքանչյուր տողում | Ռոբոտը ժամանակ չի վատնում կառավարման վահանակի և սպասարկման էջերի վրա։ |
| Թույլատրել ուղիները | Բացառություններ փակ հատվածներում | Բացեք ցանկալի ֆայլը փակ թղթապանակում |
| Սկանավորման ուշացում (10 վայրկյան) | Դադարեցրեք ռոբոտի հարցումների միջև | Թույլ սերվերի վրա բեռի թեթևացում այն ռոբոտների համար, որոնք հաշվի են առնում այն |
| Արհեստական բանականության սկանավորողների արգելափակում | Արգելափակել GPTBot-ը, Claude և այլ արհեստական բանականությամբ աշխատող բոտերը | Վերահսկեք, թե ով է օգտագործում ձեր բովանդակությունը |
| Նախադիտում, պատճենում, ներբեռնում | Ավարտված robots.txt ֆայլը | Դուք կարող եք այն անմիջապես վերբեռնել սերվերի վրա։ |
Կարևոր է հասկանալ սահմանափակումը. գեներատորը ստեղծում է ֆայլ, բայց չի ստուգում արդեն իսկ գոյություն ունեցողը։ Եթե արդեն ունեք robots.txt ֆայլ և ցանկանում եք գտնել սխալներ դրանում, ապա պետք է վերլուծեք robots.txt ֆայլը. հաջորդ բաժնի հոդվածը նվիրված է դրան։
Ինչպե՞ս ստեղծել robots.txt ֆայլը առցանց։
- Բացեք robots.txt գեներատորը ։
- Ընտրեք ձեր շարժիչի համար նախադրված կարգավորում ։ Եթե ձեր շարժիչը ցանկում չէ, ընտրեք «Պատվերով»։
- Մուտքագրեք կայքի հասցեն ՝
https://example.com: Սա կստեղծիSitemapտող: - Ավելացրեք «Չթույլատրել ուղիները» պարամետրը, մեկական յուրաքանչյուր տողում՝
/admin/,/tmp/,/search/։ - Անհրաժեշտության դեպքում, սահմանափակված թղթապանակների մեջ, օրինակ՝
/uploads/images/ի մեջ, ավելացրեք «Թույլատրել բացառությունները» պարամետրը։ - Նշեք համապատասխան վանդակները ՝ Կայքի քարտեզ, Սկանավորման ուշացում, Արհեստական բանականության սկանավորողների արգելափակում։
- Պատճենեք կամ ներբեռնեք ֆայլը և վերբեռնեք այն կայքի արմատային ֆայլում։
Էջի ձախ կողմում կարգավորումներն են, իսկ աջ կողմում՝ ֆայլի ուղիղ նախադիտումը՝ «Պատճենել» և «Ներբեռնել robots.txt» կոճակներով։
Ֆայլը պետք է գտնվի միայն դոմեյնի արմատային մասում՝ https://example.com/robots.txt: Ռոբոտները այն չեն գտնի /blog/robots.txt թղթապանակում կամ այլ ենթադոմեյնում. յուրաքանչյուր ենթադոմեյն ունի իր սեփական robots.txt ֆայլը:
Թե որտեղ է ներբեռնված ֆայլը բեռնելու ճիշտ վայրը, կախված է հարթակից.
- Սովորական հոսթինգ ՝ վահանակի ֆայլերի կառավարչի կամ FTP-ի միջոցով դեպի գլխավոր էջի գտնվելու վայրը (հաճախ
public_htmlկամwww): - WordPress — եթե ֆիզիկական ֆայլ չկա, շարժիչը մատուցում է վիրտուալ robots.txt ֆայլ։ Ֆայլը root-ում վերբեռնելը փոխարինում է այն. երկրորդ տարբերակը SEO պլագինի ֆայլերի խմբագրիչն օգտագործելն է։
- Next.js և այլ framework-ներ ՝ ֆայլը տեղադրվում է
publicթղթապանակում կամ գեներացվում է նախագծի կոդից, որպեսզի այն չկորչի հաջորդ տեղակայման ժամանակ։ - Կայքերի կառուցման գործիքներ - ֆայլը սովորաբար խմբագրվում է SEO կարգավորումներում, այլ ոչ թե վերբեռնվում է ձեռքով։
Ֆայլը պետք է անվանակոչվի robots.txt փոքրատառերով և պահպանվի UTF-8 կոդավորմամբ որպես պարզ տեքստ։ Ներբեռնելուց հետո բացեք այն ձեր զննարկիչում. եթե տեսնում եք ձեր տեքստը, ապա ամեն ինչ իր տեղում է։
Ի՞նչը պետք է փակվի և ի՞նչը՝ ոչ robots.txt ֆայլում։
Հիմնական սկզբունքը՝ փակեք այն ամենը, ինչը արժեք չի ավելացնում որոնմանը և վատնում է ռոբոտի ժամանակը։ Մի՛ փակեք այն ամենը, ինչը կարևոր է ռոբոտի համար էջը հասկանալու համար։
Սովորաբար փակ է.
- ադմինիստրատորի վահանակ և անձնական հաշիվ՝
/admin/,/wp-admin/,/account/; - զամբյուղ և դրամարկղ՝
/cart/,/checkout/; - ներքին որոնում՝
/search/,/?s=; - ծառայություն և ժամանակավոր թղթապանակներ՝
/tmp/,/cgi-bin/; - Ֆիլտրերի և տեսակավորման տարբերակների անվերջ համադրություններ՝ հարմար, միայն այն դեպքում, եթե անհրաժեշտ ֆիլտրերի համար կան առանձին վայրէջքի էջեր։
Երբեք մի փակեք.
- CSS, JavaScript և պատկերներ՝ առանց դրանց Google էջը չի տեսնի այնպես, ինչպես մարդը կտեսնի։
- կատալոգ, բլոգ, ապրանքային քարտեր և վայրէջքի էջեր;
- էջեր, որոնք ցանկանում եք հեռացնել ինդեքսից. դրա համար ձեզ անհրաժեշտ է
noindex, և ռոբոտը պետք է կարողանա կարդալ այն։
Ահա այն ֆայլը, որը դուք կստանաք WooCommerce ով WordPress խանութի համար՝
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Դրոշների վերաբերյալ։ Google հաշվի չի առնում սկանավորման ուշացումը ՝ միացնում է այն միայն այն դեպքում, եթե ձեր սերվերը տառապում է այլ բոտերից։ Արհեստական սկանավորողներին արգելափակելը բիզնես որոշում է. եթե ուզում եք, որ ChatGPT, Gemini և Perplexity-ն իմանան ձեր մասին և խորհուրդ տան ձեզ, մի՛ արգելափակեք նրանց մուտքը։
Մեկ այլ գործնական կետ է կայքի փորձնական տարբերակը: Բեմական պատճենի համար օգտագործեք «Deny All» նախադրվածը, բայց համոզվեք, որ ֆայլը փոխարինել եք գործարկման ժամանակ. մոռացված Disallow: / հենց այն է, ինչը ամենից հաճախ նվազեցնում է նոր կայքերի այցելությունները:
Համեմատություն. PromoPilot Generator-ը և Robots.txt ստեղծելու այլ եղանակներ
| Ճանապարհ | Ի՞նչն է անվճար։ | Սահմանափակումներ | Ում համար է այն հարմար։ |
|---|---|---|---|
| PromoPilot — Robots.txt գեներատոր | Նախադրված կարգավորումներ, արգելել և թույլատրել, կայքի քարտեզ, սկանավորման ուշացում, արհեստական բանականության բոտերի արգելափակում, ներբեռնում | Դուք պետք է ֆայլը ինքներդ վերբեռնեք սերվեր։ | Սկսնակների և նրանց համար, ովքեր չեն ցանկանում հիշել շարահյուսությունը |
| WordPress SEO հավելվածի խմբագիր (օրինակ՝ Yoast SEO) | Ֆայլի խմբագրում անմիջապես կառավարման վահանակից | Միայն WordPress համար, դուք ինքներդ եք գրում շարահյուսությունը | WordPress կայքերի սեփականատերերի համար |
| Robots ֆայլը Next.js ում | robots.txt ֆայլը ստեղծվում է նախագծի կոդից | Անհրաժեշտ է մշակող | Next.js նախագծեր |
| Տեքստային խմբագրիչ | Լիակատար ազատություն | Հեշտ է սխալվել, առանց որևէ ակնարկի | Նրանց համար, ովքեր անգիր գիտեն ստանդարտը |
Եզրակացություն. գեներատորը ամենաարագ միջոցն է վավեր ֆայլ ստանալու համար՝ առանց շարահյուսությունը իմանալու: Պլագինը և նախագծի կոդը հարմար են, երբ ֆայլը պետք է փոխվի կայքի հետ մեկտեղ:
Գեներատորը PromoPilot-ի 87 անվճար SEO գործիքներից մեկն է: Ֆայլը ներբեռնելուց հետո ստուգեք այն robots.txt վերլուծիչով, իսկ կայքի քարտեզի տողի համար օգտագործեք sitemap.xml գեներատորը. երկուսն էլ ներկայացված են այս բաժնի հարակից հոդվածներում:
Գեներատորի սահմանափակումներ. Ինչը այն չի անի ձեզ համար
Գեներատորը չգիտի ձեր կայքի կառուցվածքը: WordPress նախադրված կարգավորումը կփակի տիպիկ ծառայության ուղիները, բայց չի կռահի, որ ձեր խանութի ֆիլտրերը գտնվում են /filter/ ում, իսկ ներքին որոնումը՝ /find/ ում: Դուք պետք է ինքներդ մուտքագրեք այդ ուղիները:
Այն չի վերբեռնում ֆայլը սերվեր կամ չի ստուգում, որ ֆայլը հասանելի է /robots.txt հասցեով՝ 200 կարգավիճակի կոդով: Վերբեռնելուց հետո բացեք հասցեն զննարկիչում կամ գործարկեք այն վերլուծիչի միջոցով:
Եվ այն չի փոխարինում noindex. եթե նպատակը որոնման արդյունքներից էջերը հեռացնելն է, robots.txt-ը հարմար չէ: Վերջապես, ֆայլը չի պաշտպանում ձեր տվյալները. այն հանրային է, և յուրաքանչյուրը կարող է կարդալ, թե որ բաժիններն եք կողպել: Գաղտնիքները թաքնված են գաղտնաբառի հետևում:
Ե՞րբ է անվճար գործիքը բավարար չէ։
Ֆայլի ստեղծումը տևում է հինգ րոպե: Հազարավոր էջեր ունեցող կայքում ինչ արգելափակել որոշելը շատ աշխատանք է: Ձեզ մասնագետ է անհրաժեշտ, եթե՝
- Խանութը ունի հարյուրավոր ֆիլտրերի համադրություններ, և դրանցից մի քանիսը այցելուներ են առաջացնում։
- կայքը բազմալեզու է, ենթադոմեյններով կամ լեզուների համար առանձին թղթապանակներով։
- robots.txt ֆայլը խմբագրելուց հետո տրաֆիկը նվազեց, և պարզ չէ, թե որ կանոնն է մեղավոր։
- Դուք պետք է robots.txt-ը, meta tags-ը, canonical-ը և sitemap-ը համատեղեք մեկ համակարգում։
Ի՞նչ կարող եմ անել ձեր կայքի համար։
Իմ անունը Վալերի Դանյուկ է, ես ծրագրավորող և SEO մասնագետ եմ՝ 12 տարվա փորձով և ավելի քան 200 հաճախորդով: Յուրաքանչյուր կայքի, որը ես կառուցում եմ, ունի համապատասխան robots.txt ֆայլ:
SEO և առաջխաղացում
- Ավարտական SEO աուդիտ. robots.txt, noindex, canonical և sitemap՝ որպես միասնական համակարգ, այլ ոչ թե պատահական կանոնների ամբողջություն։
- Արհեստական բանականությամբ աշխատող SEO բլոգ, որը բերում է օրգանական լիդեր ։
- Բազմալեզու կայք՝ առանց թարգմանչի, որտեղ robots.txt-ը և կայքի քարտեզը պետք է հաշվի առնեն բոլոր լեզուները։
Կայքեր և առցանց խանութներ
- WooCommerce առցանց խանութ. 40+ ձևանմուշ, €299 — robots.txt ֆայլով՝ զամբյուղի, ֆիլտրերի և վճարման համար։
- Կայք 1001site ում, որտեղ կայքի քարտեզը և ինդեքսավորումը կարգավորվում են ավտոմատ կերպով: Ինչո՞վ է սա տարբերվում բաժանորդագրության վճարով կառուցողից: Tilda vs. արհեստական բանականությամբ աշխատող կայքի վերլուծություն:
CRM, հաշվապահություն և ավտոմատացում
- Ամսական հաշվապահական համակարգ առցանց խանութի համար ՝ նախագիծ չեխական ընկերության համար։
- QuestFlow-ն արհեստական բանականությամբ Telegram SaaS կառուցող ծրագիր է ։
Ավելին՝ պորտֆոլիոյում ։ Համոզված չե՞ք, թե ինչ ներառել։ Ուղարկեք ինձ ձեր կայքի հասցեն Telegram ում. ես կառաջարկեմ կանոններ ձեր կառուցվածքի համար։
Արդյունք
- Առցանց robots.txt գեներատորը հինգ րոպեում ստեղծում է ճիշտ ֆայլ՝ նախադրված, ուղիներ, կայքի քարտեզ, դրոշներ։
- Փակեք կառավարման վահանակը, վերամշակման աղբարկղը, որոնման և սպասարկման թղթապանակները։ Մի՛ փակեք CSS, JS, կատալոգը կամ բլոգը։
- robots.txt-ը չի հեռացնում էջերը ինդեքսից.
noindexհենց դրա համար է։ - Բարդ կառուցվածքը, ֆիլտրերը և լեզուները պատճառ են տեղադրումը վստահելու մասնագետի կամ կայք կառուցելու 1001site ում, որտեղ ինդեքսավորումը կարգավորված է անմիջապես։
Ստեղծեք ձեր սեփական robots.txt ֆայլը հենց հիմա՝ օգտագործելով անվճար robots.txt գեներատորը, և եթե կանոնների վերաբերյալ հարցեր ունեք, գրեք ինձ Telegram ում ։
Աղբյուրներ
- PromoPilot-ի robots.txt Generator գործիքի էջ՝ կարգավորումներ, նախադրված կարգավորումներ և էջի հարցեր։
- Google Search Central - Ինչպես ստեղծել և ուղարկել Robots.txt ֆայլ։
- Next.js փաստաթղթեր - robots մետատվյալների ֆայլ։
