robots.txt-ஐ ஆன்லைனில் சரிபார்த்தல்: உங்கள் தளத்தைத் தேடுபொறிகளிடமிருந்து மறைக்கும் பிழைகளைக் கண்டறிவது எப்படி

சுருக்கமான பதில்: robots.txt கோப்பை ஆன்லைனில் சரிபார்க்க, PromoPilot-இன் robots.txt பகுப்பாய்வுக் கருவியில் உங்கள் டொமைனை உள்ளிட்டு, "பகுப்பாய்வு செய்" (Analyze) என்பதைக் கிளிக் செய்யவும். இந்தக் கருவி தானாகவே கோப்பைப் பதிவிறக்கம் செய்து, அனைத்து நெறிமுறைகளையும் (அனுமதி, தடை, கிரால்-தாமதம், தளவரைபடம்) பகுப்பாய்வு செய்து, யூசர்-ஏஜென்ட் தொகுதிகளையும் அவை இலக்காகக் கொண்ட ரோபோக்களையும் காண்பித்து, தொடரியல் பிழைகளையும் அபாயகரமான விதிகளையும் கண்டறிந்து, முக்கியமான URL-களின் இருப்பைச் சரிபார்த்து, பரிந்துரைகளை வழங்கும். இது இலவசமானது மற்றும் பதிவு தேவையில்லை.

மற்றொருவரின் robots.txt கோப்பில் நான் இதுவரை கண்டதிலேயே மிகவும் செலவுமிக்க வரி, உருவாக்கத்தின் போது மிச்சமான " Disallow: / " என்பதுதான். தளம் தொடங்கப்பட்டது, விளம்பரங்களுக்கும் பணம் செலுத்தப்பட்டது, ஆனால் ரோபோக்கள் எல்லாப் பக்கங்களையும் பார்வையிடுவதிலிருந்து தடுக்கப்பட்டதால், மூன்று வாரங்களுக்கு இயல்பான வருகையாளர்கள் பூஜ்ஜியமாகவே இருந்தனர்.

robots.txt பகுப்பாய்வு எதைச் சரிபார்க்கிறது?

Robots.txt என்பது ஒரு வலைத்தளத்தின் மூலத்தில் உள்ள ஒரு சிறிய உரைக்கோப்பு, ஆனால் அதில் தவறு செய்வது எளிது: ஒரு கூடுதல் சாய்வுக்கோடு ஒரு விதியின் பொருளை மாற்றிவிடும். தேடல் ரோபோக்கள் கோப்பைப் படிக்கும் அதே வழியில் இந்தக் கருவியும் அதைப் படிக்கிறது.

கருவி விளக்கத்திலிருந்து ஒரு முடிவின் எடுத்துக்காட்டு: "ஆபத்தானதாக இருக்கக்கூடிய 2 அனுமதி மறு விதிகள் மற்றும் 1 விடுபட்ட தளவரைபட நெறிமுறை கண்டறியப்பட்டது." இத்தகைய கண்டுபிடிப்புகளே சிறப்புக் கவனம் செலுத்தப்பட வேண்டியவை.

robots.txt கோப்பை ஆன்லைனில் சரிபார்ப்பது எப்படி?

1. கருவியைத் திறக்கவும். Robots.txt பகுப்பாய்வு உலாவியில் செயல்படும்.
2. டொமைனை உள்ளிடவும்: https://example.com. கோப்பு தானாகவே /robots.txt என்ற கோப்பகத்தில் பதிவிறக்கப்படும்.
3. "பகுப்பாய்வு செய்" என்பதைக் கிளிக் செய்யவும்.
4. பயனர் முகவர் தொகுதிகளுக்கான நெறிமுறைகளின் பட்டியலை மதிப்பாய்வு செய்யவும்.
5. தவறுகளையும் அபாயகரமான விதிகளையும் பகுப்பாய்வு செய்வதே இந்த அறிக்கையின் முக்கிய அம்சமாகும்.
6. சர்வரில் அல்லது CMS அமைப்புகளில் கோப்பைத் திருத்தி, மீண்டும் சரிபார்ப்பை இயக்கவும்.

கருவிப் பக்கம்: முகவரிப் புலம், "பகுப்பாய்வு" பொத்தான், மற்றும் விளக்கம்—சரிபார்க்கப்பட்டவை, சூழ்நிலைகள், மற்றும் வரம்புகள்.

இரண்டு முக்கியமான சூழ்நிலைகளில் robots.txt கோப்பைச் சரிபார்க்கவும்: உங்கள் தளத்தின் புதிய பதிப்பை வெளியிடுவதற்கு முன்பும், ஏதேனும் இடமாற்றத்திற்குப் பிறகும். இந்தக் காலகட்டத்தில்தான் சோதனைக் கட்டுப்பாடுகள் உற்பத்திப் பதிப்பிற்கு மாறுவதற்கான வாய்ப்புகள் அதிகம். உங்கள் போட்டியாளரின் robots.txt கோப்பைச் சரிபார்ப்பதும் பயனுள்ளது: அதில் உள்ள கட்டுப்படுத்தப்பட்ட பிரிவுகள், அவர்கள் எந்தப் பக்கங்களைச் சேவைப் பக்கங்களாகக் கருதுகிறார்கள் என்பதையும், அவர்களின் கோப்பகம் எவ்வாறு கட்டமைக்கப்பட்டுள்ளது என்பதையும் காட்டுகின்றன.

முடிவை எவ்வாறு அறிந்துகொள்வது மற்றும் முதலில் எதைத் திருத்துவது?

முழு தளத்தையும் உள்ளடக்கிய விதிகளிலிருந்து விலகி, வெளித்தோற்றத்திற்கு மாறுங்கள்.

1. User-agent: * தொகுதியில் உள்ள Disallow: /. முழு தளமும் மூடப்படும். இது ஒரு சோதனைப் பதிப்பு இல்லை என்றால், இந்த வரியை உடனடியாக நீக்கவும்.
2. முக்கியமான பிரிவுகள் மூடப்பட்டுள்ளன. Disallow: /catalog கோப்பகத்தை மட்டுமல்லாமல், /catalog-sale/ போன்ற இந்த எழுத்துக்களில் தொடங்கும் எதையும் மூடிவிடும். விதிகள் பாதையின் தொடக்கத்தை அடிப்படையாகக் கொண்டவை, மேலும் எழுத்து வழக்கு முக்கியமானது.
3. CSS, JS மற்றும் படங்கள் தடுக்கப்பட்டுள்ளன. Disallow: /wp-content/ போன்ற ஒரு விதி, ஒரு மனிதர் பார்ப்பது போல Google பக்கத்தைப் பார்ப்பதைத் தடுக்கிறது. கிராலர் ஸ்டைல்களையும் ஸ்கிரிப்டுகளையும் ஏற்ற வேண்டும்.
4. தளவரைபட வரி இல்லை அல்லது அது 404 பிழைக்கு இட்டுச் செல்கிறது. தயவுசெய்து நெறிமுறையுடன் முழுமையான தளவரைபட முகவரியை வழங்கவும்.
5. தொடரியல். கட்டளைப் பெயர்களில் உள்ள எழுத்துப்பிழைகள், யூசர்-ஏஜென்ட் தொகுதிக்கு வெளியே உள்ள விதிகள், மற்றும் தொகுதிக்குள் உள்ள வெற்று வரிகள்—இவற்றை ரோபோக்கள் புறக்கணித்துவிடும், மேலும் அந்த விதி எந்த அறிவிப்பும் இன்றித் தோல்வியடையும்.
6. Google ஆதரிக்காத கட்டளைகள். Google Crawl-delay ஐப் புறக்கணிக்கிறது, மேலும் Google robots.txt-இல் Noindex ஆதரிப்பதில்லை. நீங்கள் இவற்றைச் சார்ந்திருந்தால், இந்த விதி பொருந்தாது.

ஒரு WordPress தளத்திற்கான சரியான கோப்பின் எடுத்துக்காட்டு:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

நிர்வாகப் பலகம், உள்ளகத் தேடல் மற்றும் ஸ்டோர் பயன்பாட்டுப் பக்கங்கள் மூடப்பட்டுள்ளன; AJAX கையாளி (அது இல்லாமல் தளத்தின் சில பகுதிகள் செயலிழந்துவிடும்) இயக்கப்பட்டுள்ளது; மேலும், தளவரைபடம் குறிப்பிடப்பட்டுள்ளது. மற்ற அனைத்தும் இயல்பாகவே இயக்கப்பட்டிருக்கும்.

பல விதிகள் இருக்கும்போது, ஒரு குறிப்பிட்ட URL திறந்திருக்கிறதா என்பதை நீங்கள் எப்படி அறிந்துகொள்வீர்கள்? Google மிகவும் துல்லியமான விதியைப் பயன்படுத்துகிறது—அதாவது, மிக நீண்ட பாதையைக் கொண்ட விதியை. ஒரு கோப்பில் Disallow: /blog/ மற்றும் Allow: /blog/seo/ ஆகிய இரண்டு விதிகளும் இருந்தால், /blog/seo/proverka/ என்ற பக்கம் திறந்திருக்கும், மற்றும் /blog/news/ பக்கம் மூடப்பட்டிருக்கும். பாதைகள் ஒரே நீளத்தில் இருந்தால், அனுமதிக்கும் விதியே வெற்றி பெறும். நட்சத்திரக் குறியீடு * என்பது எந்தவொரு எழுத்துத் தொடரையும் குறிக்கிறது, மற்றும் $ என்பது URL-இன் முடிவைக் குறிக்கிறது: Disallow: /*.pdf$ அனைத்து PDF கோப்புகளையும் மூடுகிறது, ஆனால் /pdf-guide/ என்ற பக்கத்தை மூடுவதில்லை.

மற்றொரு பொதுவான கண்டுபிடிப்பு என்னவென்றால், ஒரே ரோபோவிற்கு பல தொகுதிகள் இருப்பது, அல்லது ஒரு பொதுவான தொகுதி மற்றொரு தனித் தொகுதியுடன் ஒன்றுடன் ஒன்று மேல்பொருந்துவது ஆகும். ஒரு கோப்பில் User-agent: Google bot என்று இருந்தால், Google பாட் இந்தத் தொகுதியை மட்டுமே படிக்கும் மற்றும் User-agent: * இல் உள்ள விதிகளை முற்றிலுமாகப் புறக்கணிக்கும். எனவே, தேவையான அனைத்து கட்டுப்பாடுகளும் அதன் தொகுதியில் மீண்டும் சேர்க்கப்பட வேண்டும்.

2026-ஆம் ஆண்டிற்கான ஒரு தனித் தலைப்பு AI கிராலர்கள் ஆகும். Disallow: / உடன் கூடிய User-agent: GPTBot பிளாக், OpenAI அந்தத் தளத்தை கிரால் செய்வதைத் தடுக்கிறது. இது உங்கள் முடிவு, ஆனால் ஒன்றை நினைவில் கொள்ளுங்கள்: ஒரு தளம் AI பாட்களுக்கு மூடப்பட்டிருந்தால், அசிஸ்டன்ட்கள் அதை பரிந்துரைப்பது கடினமாகிவிடும்.

ஒப்பீடு: புரோமோபைலட் robots.txt பகுப்பாய்வு மற்றும் மாற்று வழிகள்

முடிவுரை: Google கோப்பை எவ்வாறு பார்க்கிறது என்பதைத் தேடல் கன்சோல் காட்டுகிறது, ஆனால் அது உங்கள் தளத்திற்கு மட்டுமே. ஆன்லைன் பகுப்பாய்வு எந்தவொரு டொமைனுடனும் செயல்பட்டு, என்ன தவறு என்பதை விளக்குகிறது.

Robots.txt பகுப்பாய்வு என்பது PromoPilot-இன் 87 இலவச SEO கருவிகளில் ஒன்றாகும். உங்களிடம் robots.txt கோப்பு இல்லையென்றாலோ அல்லது அதை புதிதாக எழுதுவது எளிதாக இருந்தாலோ, robots.txt ஜெனரேட்டர் பிரிவில் உள்ள அது தொடர்பான கட்டுரையைப் பார்க்கவும்—அங்கு அந்தக் கோப்பை உருவாக்குவதற்கான ஒரு காட்சி பில்டரைக் காண்பீர்கள். மேலும், சைட்மேப்பைச் சரிபார்க்க, ஒரு தனியான sitemap.xml பகுப்பாய்வுக் கருவி உள்ளது.

வரம்புகள்: robots.txt சரிபார்ப்பானது எவற்றை மாற்றீடு செய்யாது?

இந்தக் கருவி robots.txt கோப்பை மட்டுமே சரிபார்க்கிறது, மேலும் இது ஒரு பக்க அளவிலான robots மெட்டா டேக் தணிக்கைக்கு மாற்றாக அமையாது. ஒரு பக்கம் robots.txt கோப்பில் திறந்திருந்தாலும், அது noindex மெட்டா டேக் அல்லது X-Robots-Tag ஹெடரால் தடுக்கப்பட்டிருக்கலாம். இத்தகைய கட்டுப்பாடுகளை, ஒரு பக்கச் சரிபார்ப்பு அல்லது முழுமையான தணிக்கை செய்வதன் மூலம் கண்டறிய வேண்டும்.

வெவ்வேறு தேடுபொறிகள், தரமற்ற வழிமுறைகளை வெவ்வேறு விதமாகப் புரிந்துகொள்கின்றன. ஒரு தேடுபொறி ஆதரிப்பதை, மற்றொன்று அமைதியாகப் புறக்கணித்துவிடும். தரமான User-agent, Allow, Disallow மற்றும் Sitemap நம்புங்கள் —அனைத்து முக்கிய தேடுபொறிகளும் அவற்றைப் புரிந்துகொள்கின்றன.

மேலும் நினைவில் கொள்ளுங்கள்: robots.txt என்பது பாதுகாப்பு அல்ல. அது ரோபோக்களை உள்ளே நுழைய வேண்டாம் என்று பணிவுடன் கேட்டுக்கொள்கிறது, ஆனால் அது அணுகலைத் தடுப்பதில்லை. நிர்வாகப் பலகமும் தனிப்பட்ட தரவுகளும் கடவுச்சொல்லால் பாதுகாக்கப்படுகின்றனவே தவிர, "அனுமதிக்காதே" என்ற வரியால் அல்ல. மேலும், robots.txt அனைவருக்கும் திறந்தே உள்ளது: அதில் "இரகசிய"ப் பகுதிகளைப் பட்டியலிடுவதன் மூலம், நீங்கள் அவற்றை ஆர்வமுள்ளவர்களுக்கு வெளிப்படுத்துகிறீர்கள்.

ஒரு இலவசக் கருவி எப்போது போதுமானதாக இருக்காது?

ஆபத்தான விதியைக் கண்டுபிடிப்பதே பாதி வெற்றி. எந்தப் பிரிவுகளை மூடுவது என்று தீர்மானிப்பதே ஒரு உத்தி. பின்வரும் சூழ்நிலைகளில் உங்களுக்கு ஒரு நிபுணர் தேவை:

• அந்த ஸ்டோரில் ஆயிரக்கணக்கான பக்கங்களில் வடிகட்டுதலும் வரிசைப்படுத்துதலும் உள்ளன, ஆனால் அவற்றுள் எதை மூடுவது என்பது தெளிவாக இல்லை;
• அந்தத் தளம் தேடல் முடிவுகளிலிருந்து மறைந்துவிட்டது, ஆனால் robots.txt “நன்றாக இருப்பதாகத் தெரிகிறது”;
• robots.txt கோப்பானது CMS அல்லது பிளகின் மூலம் உருவாக்கப்படுகிறது, மேலும் அதில் நீங்கள் செய்யும் திருத்தங்கள் மேலெழுதப்படும்;
• செயற்கை நுண்ணறிவு கிராலர்களை இயக்குவதா வேண்டாமா என்றும், இது உதவியாளர்களின் தெரிவுநிலையை எவ்வாறு பாதிக்கும் என்றும் நாம் முடிவு செய்ய வேண்டும்.

உங்கள் வலைத்தளத்திற்கு நான் என்ன செய்ய முடியும்?

என் பெயர் வலேரி டான்யுக். நான் 12 வருட அனுபவமும் 200-க்கும் மேற்பட்ட வாடிக்கையாளர்களும் கொண்ட ஒரு டெவலப்பர் மற்றும் SEO நிபுணர். ஒவ்வொரு தணிக்கையின்போதும் நான் முதலில் சரிபார்க்கும் விஷயங்கள் Robots.txt, மெட்டா டேக்குகள் மற்றும் சைட்மேப்கள் ஆகும்.

SEO மற்றும் விளம்பரம்

• முழுமையான SEO தணிக்கை: robots.txt, noindex, canonical, sitemap, மற்றும் உண்மையான குறியீடாக்கம் — திருத்தங்களுடன்.
• செயற்கை நுண்ணறிவு முகவர்களைக் கொண்ட ஆட்டோபிளாக் என்பது, கட்டுரைகளை வெளியிட்டு அவற்றை உடனடியாக அட்டவணைப்படுத்தலுக்காகத் திறக்கும் ஒரு மனிதத் தலையீடு இல்லாத தலையங்கக் குழுவாகும்.
• GEO: ChatGPT, Gemini மற்றும் Perplexity ஆகியவற்றில் ஒரு ஹோட்டல் இடம்பெற்றது எப்படி — செயற்கை நுண்ணறிவு உதவியாளர் பதில்களில் தெரிவுநிலை குறித்த ஒரு கள ஆய்வு.

வலைத்தளங்கள் மற்றும் ஆன்லைன் கடைகள்

• €299-க்கு ஒரு WordPress இணையதளம், செயற்கை நுண்ணறிவு உதவியாளருடன் — முதல் நாளிலிருந்தே முறையான robots.txt கோப்பு மற்றும் தளவரைபடத்துடன்.
• 1001site உள்ள இணையதளம்: தளவரைபடம், கட்டமைக்கப்பட்ட தரவு மற்றும் AI-bot குறியீடாக்கம் ஆகியவை தானாகவே உள்ளமைக்கப்படுகின்றன.

CRM, கணக்கியல் மற்றும் தானியங்குமயமாக்கல்

• 6 நாட்களில் தானாகவே அகற்றுவதற்கான ERP, இணையதளம் மற்றும் AI திறன் கொண்ட Telegram பாட்.
• கூட்டாளர் கடைகளைக் கொண்ட ஒரு டிராப்ஷிப்பிங் தளம் — இதில் ஒவ்வொரு கடைக்கும் அதற்கென சொந்தமான, செல்லுபடியாகும் robots.txt கோப்பு தேவைப்படும்.

அனைத்து கேஸ்களும் போர்ட்ஃபோலியோவில் உள்ளன. Telegram உங்கள் முகவரியை எனக்கு அனுப்புங்கள், நான் உங்கள் robots.txt-ஐப் படித்துவிட்டு, தேவையற்ற பகுதிகள் எதையாவது மூடியுள்ளேனா என்பதை உங்களுக்குத் தெரியப்படுத்துவேன்.

முடிவு

1. robots.txt-ஐ ஆன்லைனில் ஒரே நிமிடத்தில் சரிபார்ப்பதன் மூலம், ஒரு தளத்தையோ அல்லது அதன் பிரிவுகளையோ ரோபோக்களிடமிருந்து மறைக்கும் விதிகளை அறியலாம்.
2. சரிசெய்யும் வரிசை: Disallow: / → மூடப்பட்ட பிரிவுகள் → CSS மற்றும் JS → தளவரைபடம் → தொடரியல்.
3. Disallow என்பது அட்டவணையிலிருந்து ஒரு பக்கத்தை நீக்காது; இதற்குத் திறந்திருக்கும் பக்கத்தில் noindex தேவைப்படுகிறது.
4. CMS-ஆல் robots.txt உருவாக்கப்பட்டு, அதில் செய்யப்படும் திருத்தங்கள் நிலைக்கவில்லை என்றால், அந்த அமைப்பை ஒரு நிபுணரிடம் ஒப்படைப்பது அல்லது 1001site க்கு மாறுவது எளிதானது, அங்கு குறியீட்டெண் இயல்பாகவே கட்டமைக்கப்பட்டிருக்கும்.

உங்கள் கோப்பை இப்போதே சரிபார்க்கவும்: ஒரு இலவச robots.txt பகுப்பாய்வைச் செய்யவும், அதில் ஏதேனும் அபாயகரமான விதிகளைக் கண்டறிந்தால், Telegram எனக்கு எழுதவும்.

ஆதாரங்கள்

• புரோமோபைலட்டின் robots.txt பகுப்பாய்வுக் கருவிப் பக்கம் — சோதனைகள், மாதிரி முடிவுகள் மற்றும் பக்கக் கேள்விகள்.
• Google தேடல் மையம் - robots.txt மற்றும் ஆதரிக்கப்படும் கட்டளைகளுக்கான அறிமுகம்.
• Google தேடல் கன்சோல் உதவி - Robots.txt அறிக்கை.