කෙටි පිළිතුර: robots.txt මාර්ගගතව පරීක්ෂා කිරීමට, PromoPilot හි robots.txt විශ්ලේෂණ මෙවලම තුළ ඔබේ වසම ඇතුළත් කර "විශ්ලේෂණය කරන්න" ක්ලික් කරන්න. මෙවලම ස්වයංක්රීයව ගොනුව බාගත කර, සියලු නියෝග විශ්ලේෂණය කරයි (Allow, Disallow, Crawl-delay, Sitemap), පරිශීලක-නියෝජිත බ්ලොක් සහ ඒවා ඉලක්ක කරගත් රොබෝවරුන් පෙන්වයි, වාක්ය ඛණ්ඩ දෝෂ සහ අවදානම් නීති සොයා ගනී, තීරණාත්මක URL වල ලබා ගත හැකි බව පරීක්ෂා කරයි, සහ නිර්දේශ සපයයි. එය නොමිලේ වන අතර ලියාපදිංචි කිරීමක් අවශ්‍ය නොවේ.
වෙනත් කෙනෙකුගේ robots.txt ගොනුවක මා දැක ඇති වඩාත්ම මිල අධිකම පේළිය වූයේ " Disallow: / " වන අතර එය සංවර්ධනයෙන් ඉතිරි වූවකි. වෙබ් අඩවිය දියත් කරන ලදී, වෙළඳ දැන්වීම් සඳහා මුදල් ගෙවා ඇත, නමුත් රොබෝවරුන්ට සියලුම පිටු නැරඹීම අවහිර කර ඇති බැවින් කාබනික ගමනාගමනය සති තුනක් ශුන්‍යයේ පැවතුනි.
robots.txt විශ්ලේෂණය පරීක්ෂා කරන්නේ කුමක්ද?
Robots.txt යනු වෙබ් අඩවියක මූලයේ ඇති කෙටි පෙළ ගොනුවකි, නමුත් එය වැරැද්දක් කිරීම පහසුය: එක් අමතර ඇල ඉරක් රීතියක අර්ථය වෙනස් කරයි. මෙවලම සෙවුම් රොබෝවරු කරන ආකාරයටම ගොනුව කියවයි.
| මෙවලම බලන්නේ කුමක් ද? | උදාහරණයක් | මෙය SEO සඳහා ඇයි? |
|---|---|---|
| සියලුම නියෝග | Allow, Disallow, Crawl-delay, Sitemap | අවසර දී ඇති දේ සහ තහනම් කර ඇති දේ හරියටම පැහැදිලිය. |
| පරිශීලක-නියෝජිත අවහිර කිරීම් | User-agent: *, User-agent: Google bot | නිශ්චිත රොබෝවක් සඳහා වන නීති සාමාන්‍ය ඒවා අභිබවා යයි. |
| අඩවි සිතියම් සබැඳි | Sitemap: https://example.com/sitemap.xml | රොබෝවරයා අඩවි සිතියම වේගයෙන් සොයා ගනී. |
| වාක්ය ඛණ්ඩ දෝෂ | Dissalow, පරිශීලක-නියෝජිත බ්ලොක් එකක් නොමැති රීතියකි. | අවලංගු රේඛාවක් සරලව නොසලකා හරිනු ලැබේ. |
| අවදානම් සහිත නීති | Disallow: /, පුද්ගලික /catalog/, CSS සහ JS | ස්කෑන් කිරීමේදී වැදගත් පිටු අස්ථානගත වී ඇත. |
| තීරණාත්මක URL ලබා ගැනීමේ හැකියාව | මුල් පිටුව, ප්‍රධාන කොටස් | යතුරු පිටු විවෘතව ඇති බව තහවුරු කිරීම |
මෙවලම් විස්තරයෙන් ලැබුණු ප්‍රතිඵලයක උදාහරණයක්: "අවදානම් විය හැකි අවසර නොදෙන නීති 2ක් සහ අස්ථානගත වූ අඩවි සිතියම් නියමුවක් 1ක් හමු විය." මේවා විශේෂ අවධානයක් ලැබිය යුතු සොයාගැනීම් වර්ග වේ.
robots.txt මාර්ගගතව පරීක්ෂා කරන්නේ කෙසේද?
- මෙවලම විවෘත කරන්න. Robots.txt විශ්ලේෂණය බ්‍රවුසරයේ ක්‍රියා කරයි.
- වසම ඇතුළත් කරන්න:
https://example.com. ගොනුව ස්වයංක්රීයව/robots.txtවෙත බාගත කෙරේ. - "විශ්ලේෂණය" ක්ලික් කරන්න.
- පරිශීලක-නියෝජිත බ්ලොක් සඳහා වන නියෝග ලැයිස්තුව සමාලෝචනය කරන්න.
- වැරදි සහ අවදානම් නීති විශ්ලේෂණය කරන්න - වාර්තාවේ ප්‍රධාන දෙය මෙයයි.
- සේවාදායකයේ හෝ CMS සැකසුම් තුළ ගොනුව නිවැරදි කර නැවත පරීක්ෂාව ක්‍රියාත්මක කරන්න.
මෙවලම් පිටුව: ලිපින ක්ෂේත්‍රය, "විශ්ලේෂණය" බොත්තම සහ විස්තරය—පරීක්ෂා කර ඇති දේ, අවස්ථා සහ සීමාවන්.
අත්‍යවශ්‍ය අවස්ථා දෙකකදී robots.txt පරීක්ෂා කරන්න: ඔබේ අඩවියේ නව අනුවාදයක් දියත් කිරීමට පෙර සහ ඕනෑම පියවරකින් පසුව. පරීක්ෂණ සීමාවන් නිෂ්පාදන අනුවාදයට සංක්‍රමණය වීමට බොහෝ දුරට ඉඩ ඇත්තේ මෙයයි. ඔබේ තරඟකරුගේ robots.txt ගොනුව පරීක්ෂා කිරීම ද ප්‍රයෝජනවත් වේ: සීමා කරන ලද කොටස් මඟින් ඔවුන් සේවා පිටු සලකා බලන පිටු සහ ඔවුන්ගේ නාමාවලිය ව්‍යුහගත කර ඇති ආකාරය පෙන්වයි.
ප්රතිඵලය කියවන්නේ කෙසේද සහ මුලින්ම නිවැරදි කළ යුත්තේ කුමක්ද?
මුළු වෙබ් අඩවියම ආවරණය වන නීති වලින් රූපලාවන්‍ය ද්‍රව්‍ය වෙත මාරු වන්න.
User-agent: *කොටසේDisallow: /යොදන්න. මුළු අඩවියම වසා ඇත. මෙය පරීක්ෂණ අනුවාදයක් නොවේ නම්, මෙම පේළිය වහාම ඉවත් කරන්න.- වැදගත් කොටස් වසා ඇත.
Disallow: /catalogනාමාවලිය පමණක් නොව මෙම අක්ෂර වලින් ආරම්භ වන ඕනෑම දෙයක් වසා දමයි, උදාහරණයක් ලෙස/catalog-sale/. නීති රීති මාර්ගයේ ආරම්භය මත පදනම් වන අතර නඩුව වැදගත් වේ. - CSS, JS, සහ රූප අවහිර කර ඇත.
Disallow: /wp-content/වැනි රීතියක් මඟින් Google විසින් පිටුව මිනිසෙකු ලෙස බැලීම වළක්වයි. ක්‍රෝලර් විසින් විලාස සහ ස්ක්‍රිප්ට් පූරණය කළ යුතුය. - අඩවි සිතියම් රේඛාවක් නැත, නැතහොත් එය 404 වෙත යොමු කරයි. කරුණාකර ප්‍රොටෝකෝලය සමඟ සම්පූර්ණ අඩවි සිතියම් ලිපිනය ලබා දෙන්න.
- වාක්ය ඛණ්ඩය. නියෝග නාමවල යතුරු ලියන දෝෂ, පරිශීලක-නියෝජිත කොටසෙන් පිටත නීති සහ කොටස තුළ හිස් රේඛා - රොබෝවරු වලංගු නොවන රේඛා නොසලකා හරින අතර රීතිය නිහඬව අසාර්ථක වේ.
- Google සහාය නොදක්වන නියෝග. Google
Crawl-delayනොසලකා හරින අතර, Google robots.txt හිNoindexසහය නොදක්වයි. ඔබ මේවා මත විශ්වාසය තබන්නේ නම්, මෙම රීතිය අදාළ නොවේ.
WordPress අඩවියක් සඳහා නිවැරදි ගොනුවක උදාහරණයක්:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
පරිපාලක පැනලය, අභ්‍යන්තර සෙවුම් සහ ගබඩා උපයෝගිතා පිටු වසා ඇත, AJAX හසුරුවන්නා (අඩවියේ බිඳී යන කොටස් නොමැතිව) සක්‍රීය කර ඇත, සහ අඩවි සිතියම නිශ්චිතව දක්වා ඇත. අනෙක් සියල්ල පෙරනිමියෙන් සක්‍රීය කර ඇත.
නීති කිහිපයක් තිබේ නම් නිශ්චිත URL එකක් විවෘත දැයි ඔබ දන්නේ කෙසේද? Google වඩාත් නිශ්චිත රීතිය යොදයි - දිගම මාර්ගය සහිත එක. ගොනුවක Disallow: /blog/ සහ Allow: /blog/seo/ යන දෙකම අඩංගු නම්, /blog/seo/proverka/ පිටුව විවෘත වන අතර /blog/news/ වසා ඇත. මාර්ග එකම දිග නම්, allow රීතිය ජය ගනී. තරු ලකුණ * ඕනෑම අක්ෂර අනුපිළිවෙලක් නියෝජනය කරන අතර $ URL හි අවසානය සලකුණු කරයි: Disallow: /*.pdf$ සියලුම PDF ගොනු වසා දමයි, නමුත් /pdf-guide/ පිටුව නොවේ.
තවත් පොදු සොයාගැනීමක් වන්නේ එකම රොබෝව සඳහා බහු බ්ලොක් හෝ වෙනම එකක් අතිච්ඡාදනය කරන පොදු බ්ලොක් එකකි. ගොනුවක User-agent: Google bot අඩංගු නම්, Google bot මෙම බ්ලොක් එක පමණක් කියවන අතර User-agent: * හි නීති සම්පූර්ණයෙන්ම නොසලකා හරියි. එබැවින්, අවශ්‍ය සියලුම සීමා කිරීම් එහි බ්ලොක් එකේ අනුපිටපත් කිරීමට සිදුවනු ඇත.
2026 සඳහා වෙනම මාතෘකාවක් වන්නේ AI crawlers ය. Disallow: / සමඟ User-agent: GPTBot බ්ලොක් එක OpenAI අඩවියට රිංගා යාම වළක්වයි. මෙය ඔබේ තීරණයයි, නමුත් මතක තබා ගන්න: අඩවියක් AI බොට් සඳහා වසා තිබේ නම්, සහායකයින්ට එය නිර්දේශ කිරීම දුෂ්කර ය.
සංසන්දනය: PromoPilot robots.txt විශ්ලේෂණය සහ විකල්ප
| මෙවලම | නොමිලේ මොනවද? | සීමා කිරීම් | එය සුදුසු වන්නේ කාටද? |
|---|---|---|---|
| PromoPilot - Robots.txt විශ්ලේෂණය | නියෝග සහ අවහිර කිරීම්, දෝෂ, අවදානම් නීති, නිර්දේශ විශ්ලේෂණය කිරීම | robots.txt පමණයි, පිටු මෙටා ටැග් නැත. | ඔබේම හෝ වෙනත් කෙනෙකුගේ වෙබ් අඩවියක් ඉක්මනින් පරීක්ෂා කරන්න |
| Google සෙවුම් කොන්සෝල robots.txt වාර්තාව | Google ඔබේ ගොනුව ලබා ගත්තේ කෙසේද, කවදාද සහ කුමන දෝෂ සහිතවද | ඔබගේ සත්‍යාපිත අඩවිය සඳහා පමණි | වෙබ් අඩවි හිමිකරුවන් සඳහා |
| කෑගසන ගෙම්බා SEO මකුළුවා | robots.txt භාවිතයෙන් වෙබ් අඩවියක් බඩගා යාම සහ ඔබේ නීති පරීක්ෂා කිරීම | වැඩසටහන ස්ථාපනය කිරීමට අවශ්‍යයි | තාක්ෂණික විගණනය |
| බ්‍රවුසරයේ අතින් පරීක්ෂා කිරීම | /robots.txt විවෘත කර කියවන්න. | දෝෂ සහ ඉඟි විශ්ලේෂණය නොකර | ගොනුවේ පේළි තුනක් තිබේ නම් |
නිගමනය: සෙවුම් කොන්සෝලය Google ගොනුව දකින ආකාරය පෙන්වයි, නමුත් එය ඔබගේ වෙබ් අඩවිය සඳහා පමණි. මාර්ගගත විශ්ලේෂණය ඕනෑම වසමක් සමඟ ක්‍රියා කරන අතර වැරැද්ද කුමක්ද යන්න පැහැදිලි කරයි.
Robots.txt විශ්ලේෂණය PromoPilot හි නොමිලේ SEO මෙවලම් 87 න් එකකි. ඔබ සතුව robots.txt ගොනුවක් නොමැති නම් හෝ එය මුල සිට නැවත ලිවීමට පහසු නම්, robots.txt උත්පාදක කොටසේ අදාළ ලිපිය පරීක්ෂා කරන්න—එහිදී ඔබට ගොනුව නිර්මාණය කිරීම සඳහා දෘශ්‍ය සාදන්නෙකු සොයාගත හැකිය. සහ අඩවි සිතියමම පරීක්ෂා කිරීමට, වෙනම sitemap.xml විශ්ලේෂණ මෙවලමක් ඇත.
සීමාවන්: කුමන robots.txt පරීක්ෂාව ප්‍රතිස්ථාපනය නොකරන්නේද?
මෙම මෙවලම robots.txt ගොනුව පමණක් පරීක්ෂා කරන අතර පිටු මට්ටමේ රොබෝ මෙටා ටැග් විගණනයක් ප්‍රතිස්ථාපනය නොකරයි. robots.txt හි පිටුවක් විවෘතව තිබිය හැකි නමුත් noindex මෙටා ටැගයක් හෝ X-Robots-Tag ශීර්ෂයක් මඟින් අවහිර කර ඇත. එවැනි සීමා කිරීම් පිටු පරීක්ෂාවක් හෝ සම්පූර්ණ විගණනයක් සිදු කිරීමෙන් අනාවරණය කර ගත යුතුය.
විවිධ සෙවුම් යන්ත්‍ර සම්මත නොවන නියෝග වෙනස් ලෙස අර්ථකථනය කරයි. එක් සෙවුම් යන්ත්‍රයක් සහාය දක්වන දෙය, තවත් එකක් නිහඬව නොසලකා හරිනු ඇත. සියලුම ප්‍රධාන සෙවුම් යන්ත්‍ර ඒවා තේරුම් ගන්නා සම්මත User-agent, Allow, Disallow සහ Sitemap මත රඳා සිටින්න.
මතක තබා ගන්න: robots.txt ආරක්ෂාව නොවේ. එය රොබෝවරුන්ට ඇතුළු නොවන ලෙස ආචාරශීලීව ඉල්ලා සිටින නමුත් ප්‍රවේශය අවහිර නොකරයි. පරිපාලක පැනලය සහ පුද්ගලික දත්ත "Disallow" රේඛාවකින් නොව මුරපදයකින් ආරක්ෂා කර ඇත. එපමණක් නොව, robots.txt සෑම කෙනෙකුටම විවෘතයි: එහි "රහස්" කොටස් ලැයිස්තුගත කිරීමෙන්, ඔබ ඒවා කුතුහලයෙන් සිටින පුද්ගලයින්ට නිරාවරණය කරයි.
නිදහස් මෙවලමක් ප්‍රමාණවත් නොවන්නේ කවදාද?
අවදානම් සහිත රීතියක් සොයා ගැනීම සටනෙන් අඩකි. වසා දැමිය යුතු කොටස් තීරණය කිරීම දැනටමත් උපාය මාර්ගයකි. ඔබට විශේෂඥයෙකු අවශ්‍ය වන්නේ:
- ගබඩාවේ පිටු දහස් ගණනක පෙරහන් සහ වර්ග කිරීමේ විකල්ප ඇති අතර, ඒවායින් කවරක් වසා දැමිය යුතුද යන්න පැහැදිලි නැත;
- වෙබ් අඩවිය සෙවුම් ප්‍රතිඵලවලින් ඉවත් විය, නමුත් robots.txt "හොඳයි වගේ";
- robots.txt CMS හෝ ප්ලගිනය මඟින් ජනනය කරනු ලබන අතර, ඔබගේ සංස්කරණයන් උඩින් ලියනු ලැබේ;
- AI crawlers සක්‍රීය කළ යුතුද යන්න සහ මෙය සහායකයින්ගේ දෘශ්‍යතාවට බලපාන්නේ කෙසේද යන්න අප තීරණය කළ යුතුය.
ඔබේ වෙබ් අඩවිය සඳහා මට කුමක් කළ හැකිද?
මගේ නම වැලරි ඩැනියුක්, මම වසර 12ක පළපුරුද්දක් සහ සේවාදායකයින් 200කට අධික සංඛ්‍යාවක් සිටින සංවර්ධකයෙක් සහ SEO විශේෂඥයෙක්. සෑම විගණනයකදීම මම මුලින්ම පරීක්ෂා කරන්නේ Robots.txt, මෙටා ටැග් සහ අඩවි සිතියම් ය.
SEO සහ ප්‍රවර්ධනය
- Turnkey SEO විගණනය: robots.txt, noindex, canonical, sitemap, සහ real indexing—නිවැරදි කිරීම් සමඟ.
- AI නියෝජිතයන් සහිත ස්වයංක්‍රීය බ්ලොග් අඩවිය යනු ලිපි ප්‍රකාශයට පත් කරන සහ ඒවා වහාම සුචිගත කිරීම සඳහා විවෘත කරන මානව-නිදහස් කතුවැකි කණ්ඩායමකි.
- GEO: ChatGPT, Gemini සහ Perplexity හි හෝටලයක් විශේෂාංගගත වූ ආකාරය — AI සහකාර ප්‍රතිචාරවල දෘශ්‍යතාව පිළිබඳ සිද්ධි අධ්‍යයනයක්.
වෙබ් අඩවි සහ මාර්ගගත වෙළඳසැල්
- යුරෝ 299 කට AI සහායකයෙකු සහිත WordPress වෙබ් අඩවියක් — පළමු දිනයේ සිටම නිසි robots.txt ගොනුවක් සහ අඩවි සිතියමක් සමඟ.
- 1001site හි වෙබ් අඩවිය: අඩවි සිතියම, ව්‍යුහගත දත්ත සහ AI-bot සුචිගත කිරීම ස්වයංක්රීයව වින්‍යාස කර ඇත.
CRM, ගිණුම්කරණය සහ ස්වයංක්‍රීයකරණය
- දින 6ක් ඇතුළත ස්වයංක්රීයව විසුරුවා හැරීම සඳහා ERP, වෙබ් අඩවිය සහ AI බලයෙන් ක්‍රියාත්මක වන Telegram බොට්.
- හවුල්කාර වෙළඳසැල් සහිත dropshipping වේදිකාවක් — එහිදී සෑම වෙළඳසැලකටම තමන්ගේම වලංගු robots.txt ගොනුවක් අවශ්‍ය වේ.
සියලුම නඩු කළඹේ ඇත. ඔබේ ලිපිනය මට Telegram හි එවන්න, එවිට මම ඔබේ robots.txt කියවා අනවශ්‍ය කොටස් වසා දැමුවා නම් ඔබට දන්වන්නම්.
ප්රතිඵලය
- විනාඩියකින් robots.txt මාර්ගගතව පරීක්ෂා කිරීමෙන් වෙබ් අඩවියක් හෝ එහි කොටස් රොබෝවරුන්ගෙන් සඟවන නීති හෙළි වේ.
- අනුපිළිවෙලින් නිවැරදි කරන්න:
Disallow: /→ සංවෘත කොටස් → CSS සහ JS → අඩවි සිතියම → වාක්ය ඛණ්ඩය. - Disallow මඟින් දර්ශකයෙන් පිටුවක් ඉවත් නොවේ; මේ සඳහා විවෘත පිටුවේ
noindexඅවශ්‍ය වේ. - robots.txt CMS මගින් ජනනය කර ඇති අතර සංස්කරණ නොගැලපේ නම්, සැකසුම විශේෂඥයෙකුට පැවරීම හෝ 1001site වෙත මාරු වීම පහසුය, එහිදී සුචිගත කිරීම කොටුවෙන් පිටත වින්‍යාස කර ඇත.
ඔබගේ ගොනුව දැන්ම පරීක්ෂා කරන්න: නොමිලේ robots.txt විශ්ලේෂණයක් ක්‍රියාත්මක කරන්න, ඔබ කිසියම් අවදානම් නීති සොයා ගන්නේ නම්, Telegram හි මට ලියන්න.
මූලාශ්‍ර
- PromoPilot හි robots.txt විශ්ලේෂණ මෙවලම් පිටුව — පරීක්ෂාවන්, නියැදි ප්‍රතිඵල සහ පිටු ප්‍රශ්න.
- Google සෙවුම් මධ්‍යස්ථානය - robots.txt සහ සහාය දක්වන නියෝග හඳුන්වාදීම.
- Google සෙවුම් කොන්සෝල උදව් - Robots.txt වාර්තාව.
