مختصر جواب: آن لائن robots.txt فائل ٺاهڻ لاءِ، PromoPilot robots.txt جنريٽر کوليو، هڪ پري سيٽ چونڊيو (ڪسٽم، سڀني کي اجازت ڏيو، سڀني کي رد ڪريو، WordPress ، Laravel، يا Next.js)، Disallow ۽ Allow لاءِ رستا داخل ڪريو، Sitemap لائن لاءِ ويب سائيٽ ايڊريس داخل ڪريو، ۽ اختياري طور تي Crawl-delay چيڪ ڪريو يا AI ڪريلرز کي بلاڪ ڪريو. مڪمل ٿيل فائل ساڄي پاسي ظاهر ٿيندي - توهان ان کي ڪاپي يا ڊائون لوڊ ڪري سگهو ٿا. اهو مفت آهي ۽ ان کي رجسٽريشن جي ضرورت ناهي.
مان هر نئين ويب سائيٽ لاءِ robots.txt لکان ٿو ۽ ڄاڻان ٿو ته دستي طور تي غلطيون ڪرڻ ڪيترو آسان آهي: هڪ اضافي جاءِ، هڪ وساريل سليش، بلاڪ کان ٻاهر هڪ قاعدو. robots.txt بلڊر هن مسئلي کي ختم ڪري ٿو - توهان سوچيو ٿا ته ڇا بند ڪجي، نه ته نحو. هيٺ، اسان وضاحت ڪنداسين ته ان کي ڪيئن استعمال ڪجي، ڇا بند ڪجي، ۽ ختم ٿيل فائل ڪٿي رکجي.
robots.txt جنريٽر ڇا ڪندو آهي؟
جنريٽر ٽيڪسٽ ايڊيٽر جي بدران هڪ فارم آهي. توهان سيٽنگون چونڊيو ٿا، ۽ ٽول انهن کي هڪ صحيح فائل ۾ گڏ ڪري ٿو ۽ ان کي لائيو پريويو ۾ ڏيکاري ٿو.
| سيٽ اپ ڪرڻ | ڇا سيٽ ڪري ٿو | سائيٽ کي هن جي ضرورت ڇو آهي؟ |
|---|---|---|
| اڳواٽ سيٽ | ڪسٽم، سڀني کي اجازت ڏيو، سڀني کي رد ڪريو، WordPress ، لاراويل، Next.js | توهان جي انجن لاءِ هڪ تيار ٿيل شروعاتي نقطو |
| ويب سائيٽ جو URL | Sitemap لائن لاءِ پتو | روبوٽ پاڻ سائيٽ ميپ ڳوليندا آهن |
| رستا رد ڪريو | سيڪشن جيڪي اسڪين نه ڪيا وڃن، هر لائن ۾ هڪ | روبوٽ ايڊمن پينل ۽ سروس صفحن تي وقت ضايع نٿو ڪري. |
| رستا ڏيو | بند ٿيل حصن اندر استثنا | گهربل فائل کي بند فولڊر ۾ کوليو |
| ڪرال-دير (10 سيڪنڊ) | روبوٽ درخواستن جي وچ ۾ وقفو | روبوٽس لاءِ ڪمزور سرور تي لوڊ گهٽائڻ جيڪي ان کي حساب ۾ رکن ٿا |
| AI ڪرالرز کي بلاڪ ڪرڻ | GPTBot، Claude ، ۽ ٻين AI بوٽس تي پابندي | ڪنٽرول ڪريو ته ڪير توهان جو مواد استعمال ڪري ٿو |
| پيش منظر، ڪاپي، ڊائون لوڊ | مڪمل ٿيل robots.txt فائل | توهان ان کي فوري طور تي سرور تي اپلوڊ ڪري سگهو ٿا. |
حد کي سمجهڻ ضروري آهي: جنريٽر هڪ فائل ٺاهي ٿو، پر اهو موجوده فائل کي چيڪ نٿو ڪري. جيڪڏهن توهان وٽ اڳ ۾ ئي هڪ robots.txt فائل آهي ۽ توهان ان ۾ غلطيون ڳولڻ چاهيو ٿا، ته توهان کي robots.txt فائل جو تجزيو ڪرڻ جي ضرورت آهي - ايندڙ حصي ۾ مضمون هن لاءِ وقف آهي.
آن لائن robots.txt ڪيئن ٺاهجي؟
- robots.txt جنريٽر کوليو.
- پنهنجي انجن لاءِ هڪ پري سيٽ چونڊيو. جيڪڏهن توهان جو انجن لسٽ ۾ نه آهي، ته "ڪسٽم" چونڊيو.
- ويب سائيٽ جو پتو داخل ڪريو —
https://example.com. هي هڪSitemapلائن ٺاهيندو. - هر لائن ۾ هڪ، Disallow رستا شامل ڪريو:
/admin/،/tmp/،/search/. - جيڪڏهن ضروري هجي ته، محدود فولڊرن اندر استثنا جي اجازت ڏيو شامل ڪريو ، جهڙوڪ
/uploads/images/. - دٻن کي چيڪ ڪريو: سائيٽ ميپ، ڪرال-ڊيلي، اي آءِ ڪرالرز کي بلاڪ ڪريو.
- فائل ڪاپي يا ڊائون لوڊ ڪريو ۽ ان کي سائيٽ جي روٽ تي اپ لوڊ ڪريو.
صفحي جي کاٻي پاسي سيٽنگون آهن، ۽ ساڄي پاسي "ڪاپي" ۽ "ڊائون لوڊ robots.txt" بٽڻن سان فائل جو لائيو پريويو آهي.
فائل کي ڊومين جي روٽ تي سختي سان واقع هجڻ گهرجي: https://example.com/robots.txt. روبوٽس ان کي /blog/robots.txt فولڊر ۾ يا ڪنهن ٻئي سب ڊومين تي نه ڳولي سگهندا - هر سب ڊومين جي پنهنجي robots.txt فائل هوندي آهي.
ڊائون لوڊ ٿيل فائل ڪٿي اپلوڊ ڪجي اهو پليٽ فارم تي منحصر آهي:
- باقاعده هوسٽنگ - پينل جي فائل مئنيجر يا ايف ٽي پي ذريعي ان فولڊر ڏانهن جتي مکيه صفحو واقع آهي (اڪثر ڪري
public_htmlياwww). - WordPress - جيڪڏهن ڪا به جسماني فائل نه آهي، ته انجن هڪ ورچوئل robots.txt فائل جي خدمت ڪندو آهي. فائل کي روٽ تي اپ لوڊ ڪرڻ ان کي تبديل ڪري ٿو؛ ٻيو آپشن SEO پلگ ان ۾ فائل ايڊيٽر استعمال ڪرڻ آهي.
- Next.js ۽ ٻيا فريم ورڪ - فائل کي
publicفولڊر ۾ رکيو ويندو آهي يا پروجيڪٽ ڪوڊ مان ٺاهيو ويندو آهي ته جيئن ايندڙ ڊيپلائيمينٽ دوران گم نه ٿئي. - ويب سائيٽ ٺاهيندڙ - فائل عام طور تي دستي طور تي اپلوڊ ڪرڻ بدران SEO سيٽنگن ۾ ايڊٽ ڪئي ويندي آهي.
فائل جو نالو robots.txt ننڍي اکرن ۾ رکڻ گهرجي ۽ UTF-8 انڪوڊنگ ۾ سادي متن جي طور تي محفوظ ڪرڻ گهرجي. ڊائون لوڊ ڪرڻ کان پوءِ، ان کي پنهنجي برائوزر ۾ کوليو: جيڪڏهن توهان پنهنجو متن ڏسو ٿا، ته سڀ ڪجهه پنهنجي جاءِ تي آهي.
robots.txt ۾ ڇا بند ڪرڻ گهرجي ۽ ڇا نه ڪرڻ گهرجي؟
مکيه اصول: ڪنهن به اهڙي شيءِ کي بند ڪريو جيڪا ڳولا ۾ قدر شامل نه ڪري ۽ روبوٽ جو وقت ضايع ڪري. ڪنهن به اهڙي شيءِ کي بند نه ڪريو جيڪا روبوٽ لاءِ صفحي کي سمجهڻ لاءِ ضروري هجي.
عام طور تي بند ٿيل:
- ايڊمن پينل ۽ ذاتي اڪائونٽ:
/admin/،/wp-admin/،/account/؛ - ڪارٽ ۽ چيڪ آئوٽ:
/cart/,/checkout/; - اندروني ڳولا:
/search/،/?s=؛ - سروس ۽ عارضي فولڊر:
/tmp/،/cgi-bin/؛ - فلٽرن ۽ ترتيب ڏيڻ جي اختيارن جا لامحدود ميلاپ - صاف، صرف جيڪڏهن گهربل فلٽرن لاءِ الڳ لينڊنگ صفحا هجن.
ڪڏهن به بند نه ڪريو:
- سي ايس ايس، جاوا اسڪرپٽ، ۽ تصويرون - انهن کان سواءِ، Google صفحي کي انسان وانگر نه ڏسندو؛
- ڪيٽلاگ، بلاگ، پراڊڪٽ ڪارڊ ۽ لينڊنگ صفحا؛
- صفحا جيڪي توهان انڊيڪس مان هٽائڻ چاهيو ٿا - ان لاءِ توهان کي
noindexضرورت آهي، ۽ روبوٽ کي ان کي پڙهڻ جي قابل هجڻ گهرجي.
هتي اها فائل آهي جيڪا توهان کي WooCommerce سان هڪ عام WordPress اسٽور لاءِ ملندي:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
جهنڊن جي حوالي سان. Google ڪرال ڊيلي کي حساب ۾ نٿو رکي - صرف ان کي فعال ڪريو جيڪڏهن توهان جو سرور ٻين بوٽس کان متاثر آهي. AI ڪريلرز کي بلاڪ ڪرڻ هڪ ڪاروباري فيصلو آهي: جيڪڏهن توهان چاهيو ٿا ته ChatGPT ، Gemini ، ۽ پرپليڪسٽي توهان بابت ڄاڻن ۽ توهان جي سفارش ڪن، ته انهن جي رسائي کي بلاڪ نه ڪريو.
ٻيو عملي نقطو سائيٽ جو ٽيسٽ ورزن آهي. اسٽيجنگ ڪاپي لاءِ، "سڀ رد ڪريو" پري سيٽ استعمال ڪريو، پر لانچ تي فائل کي تبديل ڪرڻ جي پڪ ڪريو: هڪ وساريل Disallow: / اهو آهي جيڪو اڪثر ڪري نئين سائيٽن ڏانهن ٽرئفڪ کي گهٽائي ٿو.
مقابلو: پرومو پائلٽ جنريٽر ۽ Robots.txt ٺاهڻ جا ٻيا طريقا
| رستو | ڇا مفت آهي؟ | پابنديون | اهو ڪنهن لاءِ مناسب آهي؟ |
|---|---|---|---|
| پرومو پائلٽ — Robots.txt جنريٽر | پري سيٽ، اجازت نه ڏيڻ ۽ اجازت ڏيڻ، سائيٽ ميپ، ڪرال-تاخير، AI بوٽ بلاڪنگ، ڊائون لوڊ | توهان کي فائل پاڻ سرور تي اپلوڊ ڪرڻي پوندي. | نئين سکندڙن ۽ ڪنهن به ماڻهو لاءِ جيڪو نحو ياد رکڻ نٿو چاهي |
| WordPress ايس اي او پلگ ان ۾ ايڊيٽر (مثال طور يواسٽ ايس اي او) | ايڊمن پينل مان سڌو سنئون فائل ايڊٽ ڪرڻ | صرف WordPress لاءِ، توهان پاڻ نحو لکو ٿا. | WordPress ويب سائيٽ مالڪن لاءِ |
| Next.js ۾ روبوٽس فائل | robots.txt پروجيڪٽ ڪوڊ مان تيار ڪئي وئي آهي. | ڊولپر جي ضرورت آهي | Next.js پروجيڪٽس |
| ٽيڪسٽ ايڊيٽر | مڪمل آزادي | غلطيون ڪرڻ آسان، ڪو به اشارو نه | انهن لاءِ جيڪي معيار کي دل سان ڄاڻن ٿا |
نتيجو: جنريٽر نحو ڄاڻڻ کان سواءِ صحيح فائل حاصل ڪرڻ جو تيز ترين طريقو آهي. پلگ ان ۽ پروجيڪٽ ڪوڊ آسان آهن جڏهن فائل کي ويب سائيٽ سان گڏ تبديل ڪرڻ جي ضرورت آهي.
جنريٽر پرومو پائلٽ جي 87 مفت ايس اي او ٽولز مان هڪ آهي. فائل ڊائون لوڊ ڪرڻ کان پوءِ، ان کي robots.txt اينالائيزر سان چيڪ ڪريو، ۽ سائيٽ ميپ لائن لاءِ، sitemap.xml جنريٽر استعمال ڪريو - ٻئي هن حصي ۾ ويجهن مضمونن ۾ شامل آهن.
جنريٽر جون حدون: اهو توهان لاءِ ڇا نه ڪندو
جنريٽر توهان جي سائيٽ جي بناوت کي نٿو ڄاڻي. WordPress پري سيٽ عام سروس رستا بند ڪري ڇڏيندو، پر اهو اندازو نه لڳائيندو ته توهان جي اسٽور جا فلٽر /filter/ ۾ رهن ٿا ۽ اندروني ڳولا /find/ ۾. توهان کي انهن رستن کي پاڻ داخل ڪرڻ جي ضرورت پوندي.
اهو فائل کي سرور تي اپلوڊ نٿو ڪري يا چيڪ نٿو ڪري ته فائل /robots.txt تي 200 اسٽيٽس ڪوڊ سان رسائي لائق آهي. اپلوڊ ڪرڻ کان پوءِ، ايڊريس کي برائوزر ۾ کوليو يا ان کي پارسر ذريعي هلايو.
۽ اهو noindex تبديل نٿو ڪري: جيڪڏهن مقصد ڳولا جي نتيجن مان صفحن کي هٽائڻ آهي، ته robots.txt مناسب ناهي. آخرڪار، فائل توهان جي ڊيٽا جي حفاظت نٿي ڪري: اهو عوامي آهي، ۽ ڪو به پڙهي سگهي ٿو ته توهان ڪهڙا حصا بند ڪيا آهن. راز پاسورڊ جي پويان لڪيل آهن.
جڏهن هڪ مفت اوزار ڪافي نه هوندو آهي؟
فائل ٺاهڻ ۾ پنج منٽ لڳن ٿا. هزارين صفحن واري سائيٽ تي ڇا لاڪ ڪجي اهو فيصلو ڪرڻ تمام گهڻو ڪم آهي. توهان کي هڪ ماهر جي ضرورت آهي جيڪڏهن:
- اسٽور ۾ سوين فلٽر مجموعا آهن، ۽ انهن مان ڪجهه ٽرئفڪ پيدا ڪن ٿا؛
- سائيٽ گهڻ لساني آهي، ذيلي ڊومينز تي يا ٻولين لاءِ الڳ فولڊرن سان؛
- robots.txt کي ايڊٽ ڪرڻ کان پوءِ، ٽرئفڪ گهٽجي ويو، ۽ اهو واضح ناهي ته ڪهڙو قاعدو ذميوار آهي؛
- توهان کي robots.txt، ميٽا ٽيگ، ڪيننيڪل، ۽ سائيٽ ميپ کي هڪ سسٽم ۾ ترتيب ڏيڻ جي ضرورت آهي.
مان توهان جي ويب سائيٽ لاءِ ڇا ڪري سگهان ٿو؟
منهنجو نالو ويلري ڊينيڪ آهي، مان هڪ ڊولپر ۽ ايس اي او ماهر آهيان جنهن وٽ 12 سالن جو تجربو آهي ۽ 200 کان وڌيڪ ڪلائنٽ آهن. هڪ صحيح robots.txt فائل هر ويب سائيٽ جو حصو آهي جيڪا مان ٺاهيندو آهيان.
ايس اي او ۽ پروموشن
- ٽرنڪي ايس اي او آڊٽ: robots.txt، noindex، canonical، ۽ sitemap هڪ متحد نظام جي طور تي، نه ته بي ترتيب قاعدن جو هڪ سيٽ.
- هڪ AI سان هلندڙ SEO بلاگ جيڪو نامياتي ليڊز آڻيندو آهي.
- هڪ گهڻ لساني ويب سائيٽ بغير ڪنهن مترجم جي - جتي robots.txt ۽ سائيٽ ميپ کي سڀني ٻولين کي حساب ۾ رکڻ گهرجي.
ويب سائيٽون ۽ آن لائن اسٽور
- WooCommerce آن لائن اسٽور: 40+ ٽيمپليٽ، €299 — ڪارٽ، فلٽر، ۽ چيڪ آئوٽ لاءِ robots.txt سان.
- 1001site تي هڪ ويب سائيٽ، جتي سائيٽ ميپ ۽ انڊيڪسنگ خودڪار طريقي سان ترتيب ڏنل آهن. هي سبسڪرپشن فيس سان بلڊر کان ڪيئن مختلف آهي؟ ٽلڊا بمقابله AI-طاقتور ويب سائيٽ تجزيو.
سي آر ايم، اڪائونٽنگ ۽ آٽوميشن
- آن لائن اسٽور لاءِ هڪ ماهوار اڪائونٽنگ سسٽم - چيڪ ريپبلڪ جي هڪ ڪمپني لاءِ هڪ منصوبو.
- ڪوسٽ فلو اي آءِ سان Telegram هڪ SaaS بلڊر آهي.
پورٽ فوليو ۾ وڌيڪ. پڪ ناهي ته ڇا ڍڪيو وڃي؟ مون کي Telegram ۾ پنهنجي ويب سائيٽ جو پتو موڪليو - مان توهان جي جوڙجڪ لاءِ قاعدا تجويز ڪندس.
نتيجو
- آن لائن robots.txt جنريٽر پنجن منٽن ۾ هڪ صحيح فائل ٺاهي ٿو: پري سيٽ، رستا، سائيٽ ميپ، جھنڊا.
- ايڊمن پينل، ري سائيڪل بن، ڳولا، ۽ سروس فولڊر بند ڪريو؛ سي ايس ايس، جي ايس، ڪيٽلاگ، يا بلاگ بند نه ڪريو.
- robots.txt انڊيڪس مان صفحا نه ٿو هٽائي - اهو ئي آهي جنهن لاءِ
noindexآهي. - هڪ پيچيده ڍانچو، فلٽر، ۽ ٻوليون سيٽ اپ کي ڪنهن ماهر جي حوالي ڪرڻ يا 1001site سائيٽ تي هڪ سائيٽ ٺاهڻ جو هڪ سبب آهن، جتي انڊيڪسنگ کي باڪس کان ٻاهر ترتيب ڏنو ويندو آهي.
مفت robots.txt جنريٽر استعمال ڪندي هاڻي ئي پنهنجي robots.txt فائل ٺاهيو، ۽ جيڪڏهن توهان وٽ قاعدن بابت ڪو سوال آهي ته مون کي Telegram تي لکو.
ذريعا
- پرومو پائلٽ جو robots.txt جنريٽر ٽول صفحو — سيٽنگون، پري سيٽ، ۽ صفحي جا سوال.
- Google سرچ سينٽرل - Robots.txt فائل ڪيئن ٺاهجي ۽ جمع ڪرائي وڃي.
- Next.js دستاويز - روبوٽس ميٽا ڊيٽا فائل.
