சுருக்கமான பதில்: ஆன்லைனில் ஒரு robots.txt கோப்பை உருவாக்க, PromoPilot robots.txt ஜெனரேட்டரைத் திறந்து, ஒரு முன்னமைவைத் (Custom, Allow all, Deny all, WordPress, Laravel, அல்லது Next.js) தேர்ந்தெடுத்து, Disallow மற்றும் Allow-க்கான பாதைகளை உள்ளிட்டு, Sitemap வரிக்கான இணையதள முகவரியை உள்ளிட்டு, விருப்பப்பட்டால் Crawl-delay அல்லது block AI crawlers என்பதைத் தேர்வுசெய்யவும். பூர்த்தி செய்யப்பட்ட கோப்பு வலதுபுறத்தில் தோன்றும்—நீங்கள் அதை நகலெடுக்கலாம் அல்லது பதிவிறக்கம் செய்யலாம். இது இலவசமானது மற்றும் பதிவு தேவையில்லை.
ஒவ்வொரு புதிய வலைத்தளத்திற்கும் நான் robots.txt கோப்பை எழுதுகிறேன், மேலும் கைமுறையாகத் தவறுகள் செய்வது எவ்வளவு எளிது என்பது எனக்குத் தெரியும்: ஒரு கூடுதல் இடைவெளி, மறக்கப்பட்ட ஒரு சாய்வுக்கோடு, ஒரு தொகுதிக்கு வெளியே உள்ள ஒரு விதி. robots.txt உருவாக்கும் கருவி இந்தப் சிக்கலை நீக்குகிறது—நீங்கள் தொடரியலைப் பற்றி சிந்திக்காமல், எதை மூடுவது என்பதைப் பற்றி சிந்திக்கிறீர்கள். கீழே, அதை எவ்வாறு பயன்படுத்துவது, எதை மூடுவது, மற்றும் முடிக்கப்பட்ட கோப்பை எங்கு வைப்பது என்பதை விளக்குவோம்.
robots.txt ஜெனரேட்டர் என்ன செய்கிறது?
இந்த ஜெனரேட்டர் ஒரு உரை திருத்திக்கு பதிலாக ஒரு படிவமாகச் செயல்படுகிறது. நீங்கள் அமைப்புகளைத் தேர்ந்தெடுக்க, இந்தக் கருவி அவற்றை ஒரு சரியான கோப்பாக உருவாக்கி, நேரலை முன்னோட்டத்தில் காண்பிக்கிறது.
| அமைத்தல் | என்ன தொகுப்புகள் | இந்தத் தளத்திற்கு இது ஏன் தேவைப்படுகிறது? |
|---|---|---|
| முன்னமைக்கப்பட்டது | தனிப்பயன், அனைத்தையும் அனுமதி, அனைத்தையும் மறு, WordPress, லாராவெல், Next.js | உங்கள் இயந்திரத்திற்கான ஒரு ஆயத்த தொடக்கப் புள்ளி |
| வலைத்தள URL | Sitemap வரிக்கான முகவரி | ரோபோக்கள் தள வரைபடத்தைத் தாங்களாகவே கண்டறிகின்றன. |
| பாதைகளை அனுமதிக்காதே | ஸ்கேன் செய்யக்கூடாத பகுதிகள், ஒரு வரிக்கு ஒன்று. | அந்த ரோபோ நிர்வாகப் பலகத்திலும் சேவைப் பக்கங்களிலும் நேரத்தை வீணடிப்பதில்லை. |
| பாதைகளை அனுமதிக்கவும் | மூடப்பட்ட பிரிவுகளுக்குள் உள்ள விதிவிலக்குகள் | விரும்பிய கோப்பை ஒரு மூடிய கோப்புறையில் திறக்கவும். |
| ஊர்ந்து செல்லும் தாமதம் (10 வினாடி) | ரோபோ கோரிக்கைகளுக்கு இடையில் இடைநிறுத்தம் | பலவீனமான சேவையகத்தின் மீதான சுமையை, அதைக் கருத்தில் கொள்ளும் ரோபோக்களுக்காகக் குறைத்தல் |
| AI கிராலர்களைத் தடுப்பது | GPTBot, Claude மற்றும் பிற AI போட்களுக்குத் தடை | உங்கள் உள்ளடக்கத்தை யார் பயன்படுத்துகிறார்கள் என்பதைக் கட்டுப்படுத்துங்கள் |
| முன்னோட்டம், நகலெடு, பதிவிறக்கு | முடிக்கப்பட்ட robots.txt கோப்பு | நீங்கள் அதை உடனடியாக சர்வரில் பதிவேற்றலாம். |
இதன் வரம்பைப் புரிந்துகொள்வது முக்கியம்: இந்த ஜெனரேட்டர் ஒரு கோப்பை உருவாக்குகிறது, ஆனால் அது ஏற்கனவே உள்ள கோப்பைச் சரிபார்ப்பதில்லை. உங்களிடம் ஏற்கனவே robots.txt என்ற கோப்பு இருந்து, அதில் உள்ள பிழைகளைக் கண்டறிய விரும்பினால், நீங்கள் robots.txt கோப்பைப் பகுப்பாய்வு செய்ய வேண்டும்—அடுத்த பகுதியில் உள்ள கட்டுரை இதற்கென ஒதுக்கப்பட்டுள்ளது.
ஆன்லைனில் robots.txt-ஐ உருவாக்குவது எப்படி?
- robots.txt ஜெனரேட்டரைத் திறக்கவும்.
- உங்கள் எஞ்சினுக்கான முன்னமைவைத் தேர்ந்தெடுக்கவும். உங்கள் எஞ்சின் பட்டியலில் இல்லை எனில், "தனிப்பயன்" என்பதைத் தேர்வுசெய்யவும்.
- இணையதள முகவரியை உள்ளிடவும் —
https://example.com. இது ஒருSitemapவரியை உருவாக்கும். - ஒவ்வொரு வரிக்கும் ஒன்றாக, அனுமதிக்கப்படாத பாதைகளைச் சேர்க்கவும்:
/admin/,/tmp/,/search/. - தேவைப்பட்டால்,
/uploads/images/போன்ற கட்டுப்படுத்தப்பட்ட கோப்புறைகளுக்குள் 'விதிவிலக்குகளை அனுமதி' என்பதைச் சேர்க்கவும். - பெட்டிகளைச் சரிபார்க்கவும்: தள வரைபடம், கிரால்-தாமதம், AI கிராலர்களைத் தடு.
- கோப்பை நகலெடுத்து அல்லது பதிவிறக்கம் செய்து, தளத்தின் முகப்புப் பக்கத்தில் பதிவேற்றவும்.
பக்கத்தின் இடதுபுறத்தில் அமைப்புகளும், வலதுபுறத்தில் "நகலெடு" மற்றும் "robots.txt-ஐப் பதிவிறக்கு" பொத்தான்களுடன் கோப்பின் நேரலை முன்னோட்டமும் உள்ளன.
கோப்பு கண்டிப்பாக டொமைனின் மூல முகவரியில் (root) இருக்க வேண்டும்: https://example.com/robots.txt. Robots அதை /blog/robots.txt கோப்புறையிலோ அல்லது மற்றொரு துணை டொமைனிலோ கண்டுபிடிக்காது—ஒவ்வொரு துணை டொமைனுக்கும் அதற்கெனத் தனியான robots.txt கோப்பு உள்ளது.
பதிவிறக்கம் செய்யப்பட்ட கோப்பை எங்கு பதிவேற்ற வேண்டும் என்பது இயங்குதளத்தைப் பொறுத்து மாறுபடும்.
- வழக்கமான ஹோஸ்டிங் - பேனலின் கோப்பு மேலாளர் வழியாக அல்லது FTP மூலம், முதன்மைப் பக்கம் அமைந்துள்ள கோப்புறைக்கு (பெரும்பாலும்
public_htmlஅல்லதுwww). - WordPress, பௌதீகக் கோப்பு எதுவும் இல்லை என்றால், தேடுபொறி ஒரு மெய்நிகர் robots.txt கோப்பை வழங்கும். அந்தக் கோப்பை ரூட் கோப்பகத்தில் பதிவேற்றுவது, பழைய கோப்பை மாற்றிவிடும்; இரண்டாவது வழி, SEO பிளகினில் உள்ள கோப்பு எடிட்டரைப் பயன்படுத்துவதாகும்.
- Next.js மற்றும் பிற கட்டமைப்புகளில் — அடுத்த முறை நிறுவும்போது கோப்பு தொலைந்து போகாமல் இருப்பதற்காக, அது
publicஃபோல்டரில் வைக்கப்படுகிறது அல்லது ப்ராஜெக்ட் குறியீட்டிலிருந்து உருவாக்கப்படுகிறது. - வலைத்தள உருவாக்குநர்களில் - கோப்பு பொதுவாக கைமுறையாகப் பதிவேற்றப்படுவதற்குப் பதிலாக, SEO அமைப்புகளில் திருத்தப்படுகிறது.
கோப்பின் பெயர் robots.txt எனச் சிற்றெழுத்துக்களில் இருக்க வேண்டும், மேலும் அது UTF-8 குறியாக்கத்தில் சாதாரண உரையாகச் சேமிக்கப்பட வேண்டும். பதிவிறக்கம் செய்த பிறகு, அதை உங்கள் உலாவியில் திறக்கவும்: அதில் உங்கள் உரை தெரிந்தால், அனைத்தும் சரியாக உள்ளது என்று அர்த்தம்.
robots.txt கோப்பில் எவற்றை மூட வேண்டும், எவற்றை மூடக்கூடாது?
முக்கிய கொள்கை: தேடலுக்கு மதிப்பு சேர்க்காத மற்றும் ரோபோவின் நேரத்தை வீணடிக்கும் எதையும் மூடிவிடவும். ரோபோ பக்கத்தைப் புரிந்துகொள்வதற்கு அவசியமான எதையும் மூட வேண்டாம்.
வழக்கமாக மூடப்பட்டிருக்கும்:
- நிர்வாகப் பலகம் மற்றும் தனிப்பட்ட கணக்கு:
/admin/,/wp-admin/,/account/; - வண்டி மற்றும் பணம் செலுத்துதல்:
/cart/,/checkout/; - உள் தேடல்:
/search/,/?s=; - சேவை மற்றும் தற்காலிக கோப்புறைகள்:
/tmp/,/cgi-bin/; - வடிகட்டிகள் மற்றும் வரிசைப்படுத்தும் விருப்பங்களின் முடிவற்ற சேர்க்கைகள் - தேவையான வடிகட்டிகளுக்குத் தனித்தனி முகப்புப் பக்கங்கள் இருந்தால் மட்டுமே இது நேர்த்தியாக இருக்கும்.
ஒருபோதும் மூட வேண்டாம்:
- CSS, ஜாவாஸ்கிரிப்ட் மற்றும் படங்கள்—இவை இல்லாமல், ஒரு மனிதன் பார்ப்பது போல Google அந்தப் பக்கத்தைப் பார்க்க முடியாது;
- பட்டியல், வலைப்பதிவு, தயாரிப்பு அட்டைகள் மற்றும் இலக்குப் பக்கங்கள்;
- குறியீட்டிலிருந்து நீங்கள் நீக்க விரும்பும் பக்கங்களுக்கு,
noindexதேவைப்படும், மேலும் ரோபோவால் அதைப் படிக்க முடிய வேண்டும்.
WooCommerce உடன் கூடிய ஒரு வழக்கமான WordPress ஸ்டோருக்கான கோப்பு இதோ:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
கொடிகளைப் பொறுத்தவரை, Google கிரால்-தாமதத்தைக் கணக்கில் எடுத்துக்கொள்வதில்லை—உங்கள் சர்வர் மற்ற பாட்களால் பாதிக்கப்பட்டிருந்தால் மட்டுமே அதை இயக்கவும். AI கிராலர்களைத் தடுப்பது ஒரு வணிக முடிவு: ChatGPT, Gemini, மற்றும் Perplexity போன்றவை உங்களைப் பற்றித் தெரிந்துகொண்டு உங்களைப் பரிந்துரைக்க வேண்டும் என நீங்கள் விரும்பினால், அவற்றின் அணுகலைத் தடுக்காதீர்கள்.
மற்றொரு நடைமுறை அம்சம் தளத்தின் சோதனைப் பதிப்பாகும். ஸ்டேஜிங் நகலுக்கு, "அனைத்தையும் மறு" (Deny All) முன்னமைவைப் பயன்படுத்தவும், ஆனால் தளத்தைத் தொடங்கும் போது கோப்பை மாற்றுவதை உறுதிசெய்யவும்: மறக்கப்பட்ட Disallow: / என்பதுதான் பெரும்பாலும் புதிய தளங்களுக்கான போக்குவரத்தைக் குறைக்கிறது.
ஒப்பீடு: ப்ரோமோபைலட் ஜெனரேட்டர் மற்றும் ரோபோட்களை உருவாக்குவதற்கான பிற வழிகள்.txt
| வழி | இலவசமாக கிடைப்பது என்ன? | கட்டுப்பாடுகள் | இது யாருக்குப் பொருத்தமானது? |
|---|---|---|---|
| புரோமோபைலட் — ரோபோட்ஸ்.txt ஜெனரேட்டர் | முன்னமைப்புகள், அனுமதி மறுத்தல் மற்றும் தடுத்தல், தள வரைபடம், ஊடுருவல் தாமதம், செயற்கை நுண்ணறிவு போட் தடுப்பு, பதிவிறக்கம் | நீங்கள் கோப்பை சர்வரில் நீங்களே பதிவேற்ற வேண்டும். | ஆரம்பநிலையாளர்களுக்கும், தொடரியலை நினைவில் கொள்ள விரும்பாத எவருக்கும் |
| WordPress எஸ்இஓ செருகுநிரலில் (எ.கா. யோஸ்ட் எஸ்இஓ) உள்ள எடிட்டர் | நிர்வாகப் பலகத்திலிருந்து நேரடியாக ஒரு கோப்பைத் திருத்துதல் | WordPress க்கு மட்டும், அதன் தொடரியலை நீங்களே எழுத வேண்டும். | WordPress வலைத்தள உரிமையாளருக்கு |
| Next.js இல் உள்ள ரோபோட்ஸ் கோப்பு | robots.txt என்பது திட்டக் குறியீட்டிலிருந்து உருவாக்கப்படுகிறது. | டெவலப்பர் தேவை | Next.js திட்டங்கள் |
| உரை திருத்தி | முழுமையான சுதந்திரம் | தவறுகள் செய்வது எளிது, எந்தத் தடயங்களும் இல்லை. | தரத்தை மனப்பாடம் செய்தவர்களுக்கு |
முடிவுரை: தொடரியல் தெரியாமலேயே ஒரு சரியான கோப்பைப் பெறுவதற்கு இந்த ஜெனரேட்டர் மிக வேகமான வழியாகும். இணையதளத்துடன் சேர்ந்து கோப்பும் மாற வேண்டியிருக்கும் போது, இந்த பிளகினும் திட்டக் குறியீடும் வசதியாக இருக்கின்றன.
இந்த ஜெனரேட்டர், புரோமோபைலட்டின் 87 இலவச SEO கருவிகளில் ஒன்றாகும். கோப்பைப் பதிவிறக்கிய பிறகு, அதை robots.txt அனலைசர் மூலம் சரிபார்க்கவும், மேலும் சைட்மேப் வரிக்கு, sitemap.xml ஜெனரேட்டரைப் பயன்படுத்தவும்—இவை இரண்டும் இந்தப் பிரிவில் உள்ள அடுத்தடுத்த கட்டுரைகளில் விவரிக்கப்பட்டுள்ளன.
ஜெனரேட்டரின் வரம்புகள்: அது உங்களுக்குச் செய்ய முடியாதவை
ஜெனரேட்டருக்கு உங்கள் தளத்தின் கட்டமைப்பு தெரியாது. WordPress முன்னமைவு வழக்கமான சேவைப் பாதைகளை மூடிவிடும், ஆனால் உங்கள் ஸ்டோரின் வடிப்பான்கள் /filter/ பாதையிலும், உள்ளகத் தேடல் /find/ பாதையிலும் உள்ளன என்பதை அது யூகிக்காது. இந்தப் பாதைகளை நீங்களே உள்ளிட வேண்டும்.
இது கோப்பை சர்வரில் பதிவேற்றுவதில்லை அல்லது /robots.txt என்ற முகவரியில் 200 என்ற நிலைக் குறியீட்டுடன் கோப்பு அணுகக்கூடியதாக உள்ளதா எனச் சரிபார்ப்பதில்லை. பதிவேற்றிய பிறகு, அந்த முகவரியை ஒரு உலாவியில் திறக்கவும் அல்லது அதை ஒரு பார்சர் மூலம் இயக்கவும்.
மேலும், இது noindex மாற்றாக அமையாது: தேடல் முடிவுகளிலிருந்து பக்கங்களை அகற்றுவதே நோக்கம் என்றால், robots.txt பொருத்தமானதல்ல. இறுதியாக, இந்தக் கோப்பு உங்கள் தரவைப் பாதுகாக்காது: இது பொதுவானது, மேலும் நீங்கள் எந்தப் பகுதிகளைப் பூட்டியுள்ளீர்கள் என்பதை யார் வேண்டுமானாலும் படிக்கலாம். இரகசியங்கள் ஒரு கடவுச்சொல்லின் பின்னால் மறைக்கப்பட்டுள்ளன.
ஒரு இலவசக் கருவி எப்போது போதுமானதாக இருக்காது?
ஒரு கோப்பை உருவாக்க ஐந்து நிமிடங்கள் ஆகும். ஆயிரக்கணக்கான பக்கங்களைக் கொண்ட ஒரு தளத்தில் எதைப் பூட்டுவது என்று தீர்மானிப்பது பெரும் வேலை. பின்வரும் சூழ்நிலைகளில் உங்களுக்கு ஒரு நிபுணர் தேவை:
- அந்தக் கடையில் நூற்றுக்கணக்கான வடிகட்டி சேர்க்கைகள் உள்ளன, அவற்றில் சில பார்வையாளர்களை ஈர்க்கின்றன;
- இந்தத் தளம் பன்மொழித் தளமாகும், இது மொழிகளுக்கென துணை டொமைன்களிலோ அல்லது தனித்தனி கோப்புறைகளிலோ இயங்குகிறது;
- robots.txt கோப்பைத் திருத்திய பிறகு, தரவுப் போக்குவரத்து குறைந்தது; இதற்கு எந்த விதி காரணம் என்பது தெளிவாகத் தெரியவில்லை.
- நீங்கள் robots.txt, meta tags, canonical மற்றும் sitemap ஆகியவற்றை ஒரே அமைப்பாக ஒருங்கிணைக்க வேண்டும்.
உங்கள் வலைத்தளத்திற்கு நான் என்ன செய்ய முடியும்?
என் பெயர் வலேரி டான்யுக், நான் 12 வருட அனுபவமும் 200-க்கும் மேற்பட்ட வாடிக்கையாளர்களும் கொண்ட ஒரு டெவலப்பர் மற்றும் SEO நிபுணர். நான் உருவாக்கும் ஒவ்வொரு இணையதளத்திலும் ஒரு முறையான robots.txt கோப்பு இடம்பெற்றிருக்கும்.
SEO மற்றும் விளம்பரம்
- முழுமையான SEO தணிக்கை: robots.txt, noindex, canonical மற்றும் sitemap ஆகியவற்றைத் தன்னிச்சையான விதிகளின் தொகுப்பாக அல்லாமல் ஒரு ஒருங்கிணைந்த அமைப்பாகச் செயல்படுத்துதல்.
- இயற்கையான வாடிக்கையாளர் தொடர்புகளை ஈட்டித் தரும், செயற்கை நுண்ணறிவால் இயங்கும் ஒரு SEO வலைப்பதிவு.
- மொழிபெயர்ப்பாளர் இல்லாத ஒரு பன்மொழி இணையதளம் — இதில் robots.txt மற்றும் sitemap ஆகியவை அனைத்து மொழிகளையும் கருத்தில் கொள்ள வேண்டும்.
வலைத்தளங்கள் மற்றும் ஆன்லைன் கடைகள்
- WooCommerce ஆன்லைன் ஸ்டோர்: 40-க்கும் மேற்பட்ட டெம்ப்ளேட்கள், €299 — கார்ட், ஃபில்டர்கள் மற்றும் செக்அவுட்டிற்கான robots.txt உடன்.
- 1001site தளத்தில் உள்ள ஒரு இணையதளத்தில், தளவரைபடமும் குறியீட்டெண்ணும் தானாகவே கட்டமைக்கப்படுகின்றன. சந்தாக் கட்டணம் கொண்ட ஒரு பில்டரிலிருந்து இது எவ்வாறு வேறுபடுகிறது? டில்டா மற்றும் செயற்கை நுண்ணறிவால் இயங்கும் இணையதளங்களின் ஒப்பீட்டுப் பகுப்பாய்வு.
CRM, கணக்கியல் மற்றும் தானியங்குமயமாக்கல்
- ஒரு இணைய அங்காடிக்கான மாதாந்திர கணக்கியல் அமைப்பு – செக் குடியரசைச் சேர்ந்த ஒரு நிறுவனத்திற்கான திட்டம்.
- QuestFlow என்பது செயற்கை நுண்ணறிவுடன் கூடிய Telegram போட்களுக்கான ஒரு SaaS பில்டர் ஆகும்.
போர்ட்ஃபோலியோவில் இன்னும் பல உள்ளன. எதைப் பற்றி எழுதுவது என்று தெரியவில்லையா? உங்கள் இணையதள முகவரியை Telegram எனக்கு அனுப்புங்கள் – உங்கள் கட்டமைப்பிற்கான விதிகளை நான் பரிந்துரைப்பேன்.
முடிவு
- ஆன்லைன் robots.txt ஜெனரேட்டர், முன்னமைவு, பாதைகள், தளவரைபடம், கொடிகள் உள்ளிட்ட ஒரு சரியான கோப்பை ஐந்து நிமிடங்களில் உருவாக்குகிறது.
- நிர்வாகப் பலகம், மறுசுழற்சித் தொட்டி, தேடல் மற்றும் சேவைக் கோப்புறைகளை மூடவும்; CSS, JS, பட்டியல் அல்லது வலைப்பதிவை மூட வேண்டாம்.
- robots.txt குறியீட்டிலிருந்து பக்கங்களை நீக்குவதில்லை - இதற்காகத்தான்
noindexஉள்ளது. - சிக்கலான கட்டமைப்பு, வடிப்பான்கள் மற்றும் மொழிகள் போன்ற காரணங்களால், அமைப்பை ஒரு நிபுணரிடம் ஒப்படைப்பதோ அல்லது 1001site இல் ஒரு தளத்தை உருவாக்குவதோ அவசியமாகும், ஏனெனில் அங்கு குறியீட்டெண் இயல்பாகவே கட்டமைக்கப்பட்டிருக்கும்.
இலவச robots.txt ஜெனரேட்டரைப் பயன்படுத்தி இப்போதே உங்கள் சொந்த robots.txt கோப்பை உருவாக்குங்கள், மேலும் விதிகள் குறித்து ஏதேனும் கேள்விகள் இருந்தால், Telegram எனக்கு எழுதுங்கள்.
ஆதாரங்கள்
- புரோமோபைலட்டின் robots.txt ஜெனரேட்டர் கருவிப் பக்கம் — அமைப்புகள், முன்னமைவுகள் மற்றும் பக்கக் கேள்விகள்.
- Google சர்ச் சென்ட்ரல் - Robots.txt கோப்பை உருவாக்கி சமர்ப்பிப்பது எப்படி.
- Next.js ஆவணங்கள் - ரோபோக்களின் மெட்டாடேட்டா கோப்பு.
