කෙටි පිළිතුර: මාර්ගගතව robots.txt ගොනුවක් නිර්මාණය කිරීමට, PromoPilot robots.txt උත්පාදක යන්ත්රය විවෘත කරන්න, පෙරසිටුවක් තෝරන්න (Custom, Allow all, Deny all, WordPress, Laravel, හෝ Next.js), Disallow සහ Allow සඳහා මාර්ග ඇතුළත් කරන්න, Sitemap රේඛාව සඳහා වෙබ් අඩවි ලිපිනය ඇතුළත් කරන්න, සහ විකල්පයක් ලෙස Crawl-delay හෝ AI crawlers අවහිර කරන්න පරීක්ෂා කරන්න. සම්පූර්ණ කරන ලද ගොනුව දකුණු පසින් දිස්වනු ඇත - ඔබට එය පිටපත් කිරීමට හෝ බාගත කිරීමට හැකිය. එය නොමිලේ වන අතර ලියාපදිංචි කිරීමක් අවශ්ය නොවේ.
මම සෑම නව වෙබ් අඩවියකටම robots.txt ලියන අතර අතින් වැරදි කිරීම කොතරම් පහසුදැයි දනිමි: අමතර ඉඩක්, අමතක වූ ස්ලැෂ් එකක්, බ්ලොක් එකකින් පිටත රීතියක්. robots.txt සාදන්නා මෙම ගැටළුව ඉවත් කරයි - ඔබ සිතන්නේ වාක්‍ය ඛණ්ඩය නොව වසා දැමිය යුතු දේ ගැන ය. පහතින්, අපි එය භාවිතා කරන්නේ කෙසේද, වසා දැමිය යුතු දේ සහ නිමි ගොනුව තැබිය යුතු ස්ථානය පැහැදිලි කරන්නෙමු.
robots.txt උත්පාදක යන්ත්රය කරන්නේ කුමක්ද?
උත්පාදක යන්ත්රය පෙළ සංස්කාරකයක් වෙනුවට පෝරමයකි. ඔබ සැකසුම් තෝරා ගන්නා විට, මෙවලම ඒවා වලංගු ගොනුවකට එකලස් කර සජීවී පෙරදසුනකින් පෙන්වයි.
| සැකසීම | කුමක්ද සකසන්නේ | වෙබ් අඩවියට මෙය අවශ්ය වන්නේ ඇයි? |
|---|---|---|
| පෙර සැකසුම | අභිරුචිකරණය, සියල්ලට ඉඩ දෙන්න, සියල්ල ප්‍රතික්ෂේප කරන්න, WordPress, Laravel, Next.js | ඔබේ එන්ජිම සඳහා සූදානම් කළ ආරම්භක ස්ථානයක් |
| වෙබ් අඩවි URL එක | Sitemap රේඛාව සඳහා ලිපිනය | රොබෝවරු අඩවි සිතියම තමන් විසින්ම සොයා ගනී. |
| මාර්ග වලට අවසර නොදෙන්න | ස්කෑන් නොකළ යුතු කොටස්, පේළියකට එකක් බැගින් | රොබෝවරයා පරිපාලක පැනලයේ සහ සේවා පිටුවල කාලය නාස්ති නොකරයි. |
| මාර්ග වලට ඉඩ දෙන්න | සංවෘත කොටස් තුළ ව්‍යතිරේක | අපේක්ෂිත ගොනුව සංවෘත ෆෝල්ඩරයක විවෘත කරන්න. |
| බඩගා යාමේ ප්‍රමාදය (තත්පර 10) | රොබෝ ඉල්ලීම් අතර විරාමයක් තබන්න | එය සැලකිල්ලට ගන්නා රොබෝවරුන් සඳහා දුර්වල සේවාදායකයක බර අඩු කිරීම |
| AI බඩගා යන අය අවහිර කිරීම | GPTBot, Claude සහ අනෙකුත් AI බොට් සඳහා තහනමක් | ඔබේ අන්තර්ගතය භාවිතා කරන අය පාලනය කරන්න |
| පෙරදසුන, පිටපත් කිරීම, බාගැනීම | අවසන් කළ robots.txt ගොනුව | ඔබට එය වහාම සේවාදායකයට උඩුගත කළ හැකිය. |
සීමාව තේරුම් ගැනීම වැදගත්: උත්පාදක යන්ත්රය ගොනුවක් නිර්මාණය කරයි, නමුත් එය පවතින එකක් පරීක්ෂා නොකරයි. ඔබට දැනටමත් robots.txt ගොනුවක් තිබේ නම් සහ එහි දෝෂ සොයා ගැනීමට අවශ්ය නම්, ඔබ robots.txt ගොනුව විශ්ලේෂණය කළ යුතුය - ඊළඟ කොටසේ ලිපිය මේ සඳහා කැප කර ඇත.
robots.txt අන්තර්ජාලය හරහා නිර්මාණය කරන්නේ කෙසේද?
- robots.txt උත්පාදක යන්ත්රය විවෘත කරන්න.
- ඔබේ එන්ජිම සඳහා පෙර සැකසුමක් තෝරන්න. ඔබේ එන්ජිම ලැයිස්තුගත කර නොමැති නම්, "අභිරුචි" තෝරන්න.
- වෙබ් අඩවි ලිපිනය ඇතුළත් කරන්න —
https://example.com. මෙයSitemapරේඛාවක් නිර්මාණය කරනු ඇත. - පේළියකට එකක් බැගින්, අවසර නොදෙන මාර්ග එක් කරන්න:
/admin/,/tmp/,/search/. - අවශ්ය නම්,
/uploads/images/වැනි සීමා කරන ලද ෆෝල්ඩර තුළ Allow exceptions එකතු කරන්න. - කොටු සලකුණු කරන්න: අඩවි සිතියම, බඩගා යාම-ප්‍රමාදය, AI බඩගා යාම අවහිර කරන්න.
- ගොනුව පිටපත් කර හෝ බාගත කර අඩවියේ මූලයට උඩුගත කරන්න.
පිටුවේ වම් පැත්තේ සැකසුම් ඇති අතර, දකුණු පසින් "පිටපත් කරන්න" සහ "robots.txt බාගන්න" බොත්තම් සහිත ගොනුවේ සජීවී පෙරදසුනක් ඇත.
ගොනුව වසමේ මූලයේ දැඩි ලෙස පිහිටා තිබිය යුතුය: https://example.com/robots.txt. රොබෝවරුන්ට එය /blog/robots.txt ෆෝල්ඩරයේ හෝ වෙනත් උප වසමක සොයාගත නොහැක - සෑම උප වසමකටම තමන්ගේම robots.txt ගොනුවක් ඇත.
බාගත කළ ගොනුව හරියටම උඩුගත කළ යුතු ස්ථානය වේදිකාව මත රඳා පවතී:
- නිතිපතා සත්කාරකත්වය - පැනලයේ ගොනු කළමනාකරු හෝ FTP හරහා ප්‍රධාන පිටුව පිහිටා ඇති ෆෝල්ඩරයට (බොහෝ විට
public_htmlහෝwww). - WordPress — භෞතික ගොනුවක් නොමැති නම්, එන්ජිම අථත්‍ය robots.txt ගොනුවක් සපයයි. ගොනුව මූලයට උඩුගත කිරීමෙන් එය ප්‍රතිස්ථාපනය වේ; දෙවන විකල්පය වන්නේ SEO ප්ලගිනයේ ගොනු සංස්කාරකය භාවිතා කිරීමයි.
- Next.js සහ අනෙකුත් රාමු - ගොනුව
publicෆෝල්ඩරයේ තබා ඇත හෝ ව්‍යාපෘති කේතයෙන් ජනනය කර ඇති අතර එමඟින් ඊළඟ යෙදවීමේදී එය නැති නොවේ. - වෙබ් අඩවි සාදන්නන් - ගොනුව සාමාන්‍යයෙන් අතින් උඩුගත කිරීම වෙනුවට SEO සැකසුම් තුළ සංස්කරණය කරනු ලැබේ.
ගොනුව කුඩා අකුරින් robots.txt ලෙස නම් කළ යුතු අතර UTF-8 කේතනයෙන් සරල පෙළ ලෙස සුරැකිය යුතුය. බාගත කිරීමෙන් පසු, එය ඔබගේ බ්‍රව්සරයේ විවෘත කරන්න: ඔබ ඔබේ පෙළ දුටුවහොත්, සියල්ල ස්ථානයේ තිබේ.
robots.txt හි වසා දැමිය යුතු සහ නොකළ යුතු දේ මොනවාද?
ප්‍රධාන මූලධර්මය: සෙවීමට වටිනාකමක් එක් නොකරන සහ රොබෝවරයාගේ කාලය නාස්ති කරන ඕනෑම දෙයක් වසා දමන්න. පිටුව තේරුම් ගැනීමට රොබෝවරයාට අත්‍යවශ්‍ය කිසිවක් වසා නොගන්න.
සාමාන්‍යයෙන් වසා ඇත:
- පරිපාලක පැනලය සහ පුද්ගලික ගිණුම:
/admin/,/wp-admin/,/account/; - කරත්තය සහ පිටවීම:
/cart/,/checkout/; - අභ්‍යන්තර සෙවීම:
/search/,/?s=; - සේවා සහ තාවකාලික ෆෝල්ඩර:
/tmp/,/cgi-bin/; - පෙරහන් සහ වර්ග කිරීමේ විකල්පවල නිමක් නැති සංයෝජන - පිළිවෙලට, අවශ්ය පෙරහන් සඳහා වෙනම ගොඩබෑමේ පිටු තිබේ නම් පමණි.
කවදාවත් වහන්න එපා:
- CSS, JavaScript සහ රූප—ඒවා නොමැතිව, Google පිටුව මිනිසෙකු දකින ආකාරයට දකින්නේ නැත;
- නාමාවලිය, බ්ලොග්, නිෂ්පාදන කාඩ්පත් සහ ගොඩබෑමේ පිටු;
- ඔබට දර්ශකයෙන් ඉවත් කිරීමට අවශ්ය පිටු - මේ සඳහා ඔබට
noindexඅවශ්ය වන අතර රොබෝවරයාට එය කියවීමට හැකි විය යුතුය.
WooCommerce සහිත සාමාන්‍ය WordPress වෙළඳසැලකට ඔබට ලැබෙන ගොනුව මෙන්න:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
කොඩි සම්බන්ධයෙන්. Google crawl-delay සැලකිල්ලට නොගනී—ඔබේ සේවාදායකය වෙනත් බොට් වලින් පීඩා විඳින්නේ නම් පමණක් එය සක්‍රීය කරන්න. AI crawlers අවහිර කිරීම ව්‍යාපාරික තීරණයකි: ඔබට ChatGPT, Gemini සහ Perplexity ඔබ ගැන දැන ගැනීමට සහ ඔබව නිර්දේශ කිරීමට අවශ්ය නම්, ඔවුන්ගේ ප්‍රවේශය අවහිර නොකරන්න.
තවත් ප්‍රායෝගික කරුණක් වන්නේ අඩවියේ පරීක්ෂණ අනුවාදයයි. වේදිකා පිටපත සඳහා, "සියල්ල ප්‍රතික්ෂේප කරන්න" පෙරසිටුව භාවිතා කරන්න, නමුත් දියත් කිරීමේදී ගොනුව ප්‍රතිස්ථාපනය කිරීමට වග බලා ගන්න: අමතක වූ Disallow: / යනු බොහෝ විට නව අඩවි වෙත ගමනාගමනය අඩු කරයි.
සංසන්දනය: PromoPilot උත්පාදක යන්ත්රය සහ Robots.txt නිර්මාණය කිරීමට වෙනත් ක්‍රම
| මාර්ගය | නොමිලේ මොනවද? | සීමා කිරීම් | එය සුදුසු වන්නේ කාටද? |
|---|---|---|---|
| PromoPilot — Robots.txt උත්පාදක යන්ත්රය | පෙරසැකසුම්, අවසර නොදීම සහ ඉඩ දීම, අඩවි සිතියම, බඩගා යාම-ප්‍රමාදය, AI බොට් අවහිර කිරීම, බාගැනීම | ඔබ විසින්ම ගොනුව සේවාදායකයට උඩුගත කළ යුතුය. | ආරම්භකයින් සහ වාක්‍ය ඛණ්ඩ මතක තබා ගැනීමට අකමැති ඕනෑම අයෙකුට |
| WordPress SEO ප්ලගිනයක සංස්කාරකය (උදා: Yoast SEO) | පරිපාලක පැනලයෙන් කෙලින්ම ගොනුවක් සංස්කරණය කිරීම | WordPress සඳහා පමණක්, ඔබ විසින්ම වාක්‍ය ඛණ්ඩය ලියන්න. | WordPress වෙබ් අඩවි හිමිකරුවන් සඳහා |
| Next.js හි රොබෝ ගොනුව | robots.txt ව්‍යාපෘති කේතයෙන් ජනනය වේ. | සංවර්ධකයෙකු අවශ්‍යයි | Next.js ව්‍යාපෘති |
| පෙළ සංස්කාරකය | සම්පූර්ණ නිදහස | වැරදි කිරීමට පහසුය, ඉඟි නැත. | සම්මතය හදවතින්ම දන්නා අයට |
නිගමනය: වාක්‍ය ඛණ්ඩය නොදැන වලංගු ගොනුවක් ලබා ගැනීමට ඇති වේගවත්ම ක්‍රමය උත්පාදක යන්ත්‍රයයි. වෙබ් අඩවිය සමඟ ගොනුව වෙනස් කිරීමට අවශ්ය වූ විට ප්ලගිනය සහ ව්‍යාපෘති කේතය පහසු වේ.
මෙම උත්පාදක යන්ත්රය PromoPilot හි නොමිලේ SEO මෙවලම් 87 න් එකකි. ගොනුව බාගත කිරීමෙන් පසු, robots.txt විශ්ලේෂකයක් සමඟ එය පරීක්ෂා කරන්න, සහ අඩවි සිතියම් රේඛාව සඳහා, sitemap.xml උත්පාදක යන්ත්රය භාවිතා කරන්න—දෙකම මෙම කොටසේ යාබද ලිපිවල ආවරණය කර ඇත.
උත්පාදක සීමාවන්: එය ඔබට නොකරන දේ
උත්පාදක යන්ත්රය ඔබේ අඩවියේ ව්‍යුහය නොදනී. WordPress පෙරසිටුව සාමාන්‍ය සේවා මාර්ග වසා දමනු ඇත, නමුත් ඔබේ ගබඩාවේ පෙරහන් /filter/ හි සහ /find/ හි අභ්‍යන්තර සෙවුම පවතින බව අනුමාන නොකරයි. ඔබට මෙම මාර්ග ඔබම ඇතුළත් කිරීමට අවශ්ය වනු ඇත.
එය ගොනුව සේවාදායකයට උඩුගත නොකරයි හෝ 200 තත්ව කේතයක් සමඟ /robots.txt හි ගොනුවට ප්‍රවේශ විය හැකිදැයි පරීක්ෂා නොකරයි. උඩුගත කිරීමෙන් පසු, ලිපිනය බ්‍රවුසරයක විවෘත කරන්න හෝ විග්‍රහකයක් හරහා එය ක්‍රියාත්මක කරන්න.
තවද එය noindex ප්‍රතිස්ථාපනය නොකරයි: සෙවුම් ප්‍රතිඵල වලින් පිටු ඉවත් කිරීම ඉලක්කය නම්, robots.txt සුදුසු නොවේ. අවසාන වශයෙන්, ගොනුව ඔබගේ දත්ත ආරක්ෂා නොකරයි: එය පොදු වන අතර, ඔබ අගුළු දමා ඇති කොටස් ඕනෑම කෙනෙකුට කියවිය හැකිය. රහස් මුරපදයක් පිටුපස සැඟවී ඇත.
නිදහස් මෙවලමක් ප්‍රමාණවත් නොවන්නේ කවදාද?
ගොනුවක් ජනනය කිරීමට මිනිත්තු පහක් ගතවේ. පිටු දහස් ගණනක් ඇති වෙබ් අඩවියක අගුළු දැමිය යුතු දේ තීරණය කිරීම බොහෝ කාර්යයකි. ඔබට විශේෂඥයෙකු අවශ්ය වන්නේ නම්:
- ගබඩාවේ පෙරහන් සංයෝජන සිය ගණනක් ඇති අතර, ඒවායින් සමහරක් ගමනාගමනය ජනනය කරයි;
- වෙබ් අඩවිය බහුභාෂා, උප වසම්වල හෝ භාෂා සඳහා වෙනම ෆෝල්ඩර සහිතයි;
- robots.txt සංස්කරණය කිරීමෙන් පසු ගමනාගමනය පහත වැටුණු අතර, කුමන රීතියට දොස් පැවරිය යුතුද යන්න පැහැදිලි නැත;
- ඔබ robots.txt, meta tags, canonical සහ sitemap එක පද්ධතියකට පෙළගස්වා ගත යුතුය.
ඔබේ වෙබ් අඩවිය සඳහා මට කුමක් කළ හැකිද?
මගේ නම වැලරි ඩැනියුක්, මම වසර 12ක පළපුරුද්දක් සහ සේවාදායකයින් 200කට අධික සංඛ්‍යාවක් සිටින සංවර්ධකයෙක් සහ SEO විශේෂඥයෙක්. නිසි robots.txt ගොනුවක් මා ගොඩනඟන සෑම වෙබ් අඩවියකම කොටසකි.
SEO සහ ප්‍රවර්ධනය
- Turnkey SEO විගණනය: robots.txt, noindex, canonical, සහ sitemap යනු අහඹු නීති මාලාවක් නොව ඒකාබද්ධ පද්ධතියක් ලෙසයි.
- කාබනික ඊයම් ගෙන එන AI-බලවත් SEO බ්ලොගයක්.
- පරිවර්තකයෙකු නොමැති බහුභාෂා වෙබ් අඩවියක් — එහිදී robots.txt සහ අඩවි සිතියම සියලු භාෂා සැලකිල්ලට ගත යුතුය.
වෙබ් අඩවි සහ මාර්ගගත වෙළඳසැල්
- WooCommerce මාර්ගගත වෙළඳසැල: සැකිලි 40+, €299 — කරත්තය, පෙරහන් සහ පිටවීම සඳහා robots.txt සමඟ.
- අඩවි සිතියම සහ සුචිගත කිරීම ස්වයංක්රීයව වින්‍යාස කර ඇති 1001site හි වෙබ් අඩවියක්. දායක ගාස්තුවක් සහිත තනන්නෙකුගෙන් මෙය වෙනස් වන්නේ කෙසේද? ටිල්ඩා එදිරිව AI බලයෙන් ක්‍රියාත්මක වන වෙබ් අඩවි විශ්ලේෂණය.
CRM, ගිණුම්කරණය සහ ස්වයංක්‍රීයකරණය
- අන්තර්ජාල වෙළඳසැලක් සඳහා මාසික ගිණුම්කරණ පද්ධතියක් - චෙක් ජනරජයේ සමාගමක් සඳහා ව්‍යාපෘතියකි.
- QuestFlow යනු AI සහිත Telegram SaaS සාදන්නෙකි.
කළඹේ තවත් තියෙනවා. ආවරණය කරන්නේ මොකක්ද කියලා විශ්වාස නැද්ද? Telegram එකේ ඔයාගේ වෙබ් අඩවි ලිපිනය මට එවන්න - මම ඔයාගේ ව්‍යුහය සඳහා නීති යෝජනා කරන්නම්.
ප්රතිඵලය
- මාර්ගගත robots.txt උත්පාදක යන්ත්රය මිනිත්තු පහකින් නිවැරදි ගොනුවක් නිර්මාණය කරයි: පෙරසැකසුම, මාර්ග, අඩවි සිතියම, කොඩි.
- පරිපාලක පැනලය, ප්‍රතිචක්‍රීකරණ බඳුන, සෙවුම් සහ සේවා ෆෝල්ඩර වසන්න; CSS, JS, නාමාවලිය හෝ බ්ලොගය වසා නොදමන්න.
- robots.txt දර්ශකයෙන් පිටු ඉවත් නොකරයි -
noindexයනු මෙයයි. - සංකීර්ණ ව්‍යුහයක්, පෙරහන් සහ භාෂා, සැකසුම විශේෂඥයෙකුට පැවරීමට හෝ 1001site හි වෙබ් අඩවියක් තැනීමට හේතුවක් වන අතර, එහිදී සුචිගත කිරීම කොටුවෙන් පිටත වින්‍යාස කර ඇත.
නොමිලේ robots.txt උත්පාදක යන්ත්රය භාවිතයෙන් දැන්ම ඔබේම robots.txt ගොනුවක් සාදන්න, ඔබට නීති පිළිබඳව කිසියම් ප්‍රශ්නයක් ඇත්නම්, Telegram හි මට ලියන්න.
මූලාශ්‍ර
- PromoPilot හි robots.txt උත්පාදක මෙවලම් පිටුව — සැකසුම්, පෙරසිටුවීම් සහ පිටු ප්‍රශ්න.
- Google සෙවුම් මධ්‍යස්ථානය - Robots.txt ගොනුවක් සාදා ඉදිරිපත් කරන්නේ කෙසේද.
- Next.js ලේඛන - රොබෝවරුන්ගේ පාර-දත්ත ගොනුව.
