لنډ ځواب: د robots.txt آنلاین چک کولو لپاره، د PromoPilot د robots.txt تحلیل وسیلې کې خپل ډومین دننه کړئ او "تحلیل" کلیک وکړئ. دا وسیله به په اتوماتيک ډول فایل ډاونلوډ کړي، ټول لارښوونې تحلیل کړي (اجازه ورکړئ، اجازه ورکړئ، کرول-ځنډ، سایټ میپ)، د کارونکي-اجنټ بلاکونه او هغه روبوټونه چې دوی یې په نښه کوي ښکاره کړي، د نحو غلطۍ او خطرناک قواعد ومومي، د مهمو URLs شتون وګوري، او سپارښتنې چمتو کړي. دا وړیا دی او هیڅ راجسټریشن ته اړتیا نلري.
تر ټولو ګرانه کرښه چې ما کله هم د بل چا په robots.txt فایل کې لیدلې ده " Disallow: / " وه، چې د پراختیا څخه پاتې وه. سایټ پیل شو، د اعلاناتو لپاره پیسې ورکړل شوې، مګر عضوي ترافیک د دریو اونیو لپاره صفر پاتې شو ځکه چې روبوټونه د ټولو پاڼو لیدلو څخه منع شوي وو.
د robots.txt تحلیل څه شی ګوري؟
Robots.txt د ویب پاڼې په ریښه کې یو لنډ متن فایل دی، مګر غلطي کول اسانه دي: یو اضافي سلیش د قاعدې معنی بدلوي. دا وسیله فایل په ورته ډول لولي لکه څنګه چې د لټون روبوټونه کوي.
| دا وسیله څه ته ګوري؟ | بېلګه | ولې دا د SEO لپاره دی؟ |
|---|---|---|
| ټول لارښوونې | Allow ، Disallow ، Crawl-delay ، Sitemap | دا روښانه ده چې څه په سمه توګه اجازه لري او څه منع دي. |
| د کارونکي-اجنټ بلاکونه | User-agent: * ، User-agent: Google bot | د یو ځانګړي روبوټ لپاره قواعد عمومي قوانین ردوي |
| د سایټ نقشې لینکونه | Sitemap: https://example.com/sitemap.xml | روبوټ د سایټ نقشه په چټکۍ سره پیدا کوي |
| د نحوي تېروتنې | Dissalow ، د کارونکي-ایجنټ بلاک پرته یو قاعده | یوه ناباوره کرښه په ساده ډول له پامه غورځول کیږي. |
| خطرناک قواعد | Disallow: / ، شخصي /catalog/ ، CSS او JS | مهمې پاڼې د سکین کولو څخه ورکې دي |
| د مهمو URLونو شتون | کور، اصلي برخې | د دې تصدیق کول چې کلیدي پاڼې خلاصې دي |
د وسیلې توضیحاتو څخه د پایلې یوه بیلګه: "د اجازه ورکولو دوه احتمالي خطرناک قواعد او د سایټ میپ یو ورک شوی لارښود وموندل شو." دا د موندنو ډولونه دي چې ځانګړې پاملرنې ته اړتیا لري.
څنګه آنلاین robots.txt وګورئ؟
- وسیله پرانیزئ. د Robots.txt تحلیل په براوزر کې کار کوي.
- ډومین داخل کړئ:
https://example.com. فایل به په اتوماتيک ډول/robots.txtته ډاونلوډ شي. - "تحلیل" کلیک وکړئ.
- د کارونکي-اجنټ بلاکونو لپاره د لارښوونو لیست بیاکتنه وکړئ.
- د غلطیو او خطرناکو قوانینو تحلیل وکړئ - دا په راپور کې اصلي شی دی.
- فایل په سرور یا د CMS ترتیباتو کې سم کړئ او بیا چیک چل کړئ.
د وسیلې پاڼه: د پتې ساحه، د "تحلیل" تڼۍ، او توضیحات - هغه څه چې چک شوي، سناریوګانې، او محدودیتونه.
په دوو اړینو حالتونو کې robots.txt وګورئ: د خپل سایټ د نوي نسخې له پیل کولو دمخه او د هر ډول حرکت وروسته. دا هغه وخت دی کله چې د ازموینې محدودیتونه د تولید نسخې ته د لیږدولو احتمال ډیر وي. دا د خپل سیال د robots.txt فایل چیک کول هم ګټور دي: محدود شوي برخې ښیې چې کوم پاڼې دوی د خدماتو پاڼې په پام کې نیسي او د دوی لارښود څنګه جوړښت لري.
پایله څنګه ولولئ او لومړی څه باید سم کړئ؟
له هغو قوانینو څخه چې ټوله سایټ پوښي، کاسمیټکس ته لاړ شئ.
User-agent: *بلاک کېDisallow: /. ټوله سایټ تړل شوی دی. که دا د ازموینې نسخه نه وي، نو دا کرښه سمدلاسه لرې کړئ.- مهمې برخې تړل شوي دي.
Disallow: /catalogنه یوازې لارښود بندوي بلکه هر هغه څه چې د دې حروفو سره پیل کیږي، لکه/catalog-sale/. قواعد د لارې په پیل پورې اړه لري، او قضیه مهمه ده. - CSS، JS، او انځورونه بند شوي دي.
Disallow: /wp-content/په څیر قوانین Google د دې مخه نیسي چې پاڼه د انسان په څیر وګوري. کرالر باید سټایلونه او سکریپټونه بار کړي. - د سایټ نقشې کرښه نشته یا دا 404 ته لار هواروي. مهرباني وکړئ د پروتوکول سره د سایټ نقشې بشپړ پته چمتو کړئ.
- نحو. د لارښوونو په نومونو کې ټایپونه، د کارونکي-اجنټ بلاک څخه بهر قواعد، او د بلاک دننه خالي کرښې - روبوټونه ناسمې کرښې له پامه غورځوي، او قاعده په خاموشۍ سره ناکامه کیږي.
- هغه لارښوونې چې Google یې ملاتړ نه کوي. Google
Crawl-delayله پامه غورځوي، او Google په robots.txt کېNoindexملاتړ نه کوي. که تاسو په دې تکیه کوئ، دا قاعده نه پلي کیږي.
د WordPress سایټ لپاره د سم فایل یوه بیلګه:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
د ادارې پینل، داخلي لټون، او د پلورنځي کارونې پاڼې تړل شوي، د AJAX هینډلر (پرته له دې چې د سایټ ماتولو برخې) فعال شوی، او د سایټ نقشه مشخص شوې ده. نور هرڅه په ډیفالټ فعال شوي دي.
څنګه پوه شو چې یو ځانګړی URL خلاص دی که چیرې ډیری قواعد شتون ولري؟ Google ترټولو ځانګړی قانون پلي کوي - هغه چې ترټولو اوږده لاره لري. که چیرې یو فایل Disallow: /blog/ او Allow: /blog/seo/ ولري، نو پاڼه /blog/seo/proverka/ خلاصه ده، او /blog/news/ تړل کیږي. که چیرې لارې ورته اوږدوالی ولري، د allow قاعده ګټي. ستوری * د حروفونو هر ترتیب استازیتوب کوي، او $ د URL پای نښه کوي: Disallow: /*.pdf$ ټول PDF فایلونه بندوي، مګر پاڼه /pdf-guide/ نه.
بله عامه موندنه د ورته روبوټ لپاره ډیری بلاکونه دي، یا یو عام بلاک چې یو جلا بلاک سره یوځای کیږي. که چیرې یوه فایل User-agent: Google bot ولري، Google بوټ یوازې دا بلاک لولي او په بشپړ ډول User-agent: * قواعد له پامه غورځوي. له همدې امله، ټول اړین محدودیتونه باید په خپل بلاک کې نقل شي.
د ۲۰۲۶ کال لپاره یوه جلا موضوع د AI کرولرز ده. User-agent: GPTBot بلاک Disallow: / سره د OpenAI مخه نیسي چې سایټ کرول کړي. دا ستاسو پریکړه ده، مګر په یاد ولرئ: که چیرې یو سایټ د AI بوټونو لپاره تړل شوی وي، نو د مرستیالانو لپاره یې سپارښتنه کول ګران دي.
پرتله کول: د پرومو پیلوټ robots.txt تحلیل او بدیلونه
| وسیله | څه وړیا دي؟ | محدودیتونه | دا د چا لپاره مناسب دی؟ |
|---|---|---|---|
| پرومو پیلوټ - د Robots.txt تحلیل | د لارښوونو او بلاکونو، غلطیو، خطرناکو قوانینو، سپارښتنو تحلیل | یوازې robots.txt، د پاڼې میټا ټګونه نشته | ژر تر ژره خپله یا د بل چا ویب پاڼه وګورئ |
| Google لټون کنسول robots.txt راپور | Google ستاسو فایل څنګه، کله، او د کومو غلطیو سره ترلاسه کړ | یوازې ستاسو د تایید شوي سایټ لپاره | د ویب پاڼې مالکینو لپاره |
| چیغې وهونکی چونګښه SEO سپایډر | د robots.txt په کارولو سره یو سایټ کرول کول او خپل قواعد چیک کول | پروګرام باید نصب شي | تخنیکي تفتیش |
| په براوزر کې لاسي چک کول | /robots.txt پرانیزئ او ولولئ | د غلطیو او اشارو تحلیل پرته | که فایل درې کرښې ولري |
پایله: د لټون کنسول ښیي چې Google فایل څنګه ګوري، مګر یوازې ستاسو د سایټ لپاره. آنلاین تحلیل د هر ډومین سره کار کوي او تشریح کوي چې څه غلط دي.
د Robots.txt تحلیل د PromoPilot د 87 وړیا SEO وسیلو څخه یو دی. که تاسو د robots.txt فایل نلرئ یا یې له سره لیکل اسانه وي، د robots.txt جنریټر برخه کې اړونده مقاله وګورئ — هلته به تاسو د فایل جوړولو لپاره یو بصري جوړونکی ومومئ. او د سایټ نقشه پخپله د چک کولو لپاره، د sitemap.xml تحلیل لپاره یو جلا وسیله شتون لري.
محدودیتونه: کوم robots.txt چیک کول به ځای ونه نیسي؟
دا وسیله یوازې د robots.txt فایل ګوري او د پاڼې کچې روبوټونو میټا ټګ تفتیش نه بدلوي. یوه پاڼه ممکن په robots.txt کې خلاصه وي مګر د noindex میټا ټګ یا د X-Robots-Tag سرلیک لخوا بنده شوې وي. دا ډول محدودیتونه باید د پاڼې چیک یا بشپړ تفتیش ترسره کولو سره کشف شي.
مختلف د لټون انجنونه غیر معیاري لارښوونې په مختلف ډول تفسیروي. هغه څه چې یو د لټون انجن یې ملاتړ کوي، بل به یې په خاموشۍ سره له پامه وغورځوي. په معیاري User-agent ، Allow ، Disallow او Sitemap تکیه وکړئ — ټول لوی د لټون انجنونه دوی پوهیږي.
او په یاد ولرئ: robots.txt امنیت نه دی. دا په نرمۍ سره روبوټونو ته د ننوتلو غوښتنه کوي، مګر دا لاسرسی نه بندوي. د اډمین پینل او شخصي معلومات د پټنوم سره خوندي دي، نه د "اجازه نه ورکول" کرښې سره. سربیره پردې، robots.txt د هرچا لپاره خلاص دی: په دې کې د "پټو" برخو لیست کولو سره، تاسو دوی لیواله خلکو ته ښکاره کوئ.
کله وړیا وسیله کافي نه وي؟
د خطرناک قانون موندل نیمایي جګړه ده. د کومې برخې تړلو پریکړه کول دمخه یوه ستراتیژي ده. تاسو یو متخصص ته اړتیا لرئ که چیرې:
- دا هټۍ د زرګونو پاڼو فلټرونه او د ترتیب کولو اختیارونه لري، او دا روښانه نه ده چې کوم یو یې وتړي؛
- سایټ د لټون پایلو څخه ورک شو، مګر robots.txt "ښه ښکاري"؛
- robots.txt د CMS یا پلگ ان لخوا رامینځته کیږي، او ستاسو سمونونه له سره لیکل کیږي؛
- موږ باید پریکړه وکړو چې ایا د مصنوعي ذهانت (AI) کریلرونه فعال کړو او دا به څنګه په معاونینو کې لید اغیزه وکړي.
زه ستاسو د ویب پاڼې لپاره څه کولی شم؟
زما نوم والیري دانیوک دی، او زه یو پراختیا کونکی او د SEO متخصص یم چې د 12 کلونو تجربه او له 200 څخه ډیر مراجعین لرم. Robots.txt، میټا ټګونه، او سایټ نقشې هغه لومړني شیان دي چې زه یې په هره پلټنه کې ګورم.
SEO او ترویج
- د SEO پلټنه: robots.txt، noindex، canonical، sitemap، او real indexing—د سمونونو سره.
- د مصنوعي ذهانت اجنټانو سره آټوبلاګ د انسانانو څخه پاک اداری ټیم دی چې مقالې خپروي او سمدلاسه یې د شاخص کولو لپاره پرانیزي.
- جیو: څنګه یو هوټل په ChatGPT ، Gemini ، او پرپلیکسیټي کې څرګند شو - د AI مرستیال ځوابونو کې د لید په اړه د قضیې مطالعه.
ویب پاڼې او آنلاین پلورنځي
- د WordPress ویب پاڼه چې د مصنوعي ذهانت مرستیال لري د €299 په بیه — د لومړۍ ورځې څخه د مناسب robots.txt فایل او سایټ نقشې سره.
- په 1001site کې ویب پاڼه: د سایټ نقشه، جوړښتي معلومات، او د AI-bot شاخصونه په اتوماتيک ډول تنظیم شوي دي.
CRM، محاسبه او اتومات کول
- د ERP، ویب پاڼې، او د مصنوعي ذهانت په واسطه چلېدونکي Telegram بوټونه په شپږو ورځو کې د اتوماتیک تخریب لپاره.
- د ملګرو پلورنځیو سره د ډراپشپینګ پلیټ فارم — چیرې چې هر پلورنځی خپل معتبر robots.txt فایل ته اړتیا لري.
ټولې قضیې په پورټ فولیو کې دي. خپل پته په Telegram کې راته راولیږئ، او زه به ستاسو robots.txt ولولم او تاسو ته به خبر درکړم که ما کومه غیر ضروري برخه تړلې وي.
پایله
- یوازې په یوه دقیقه کې د robots.txt آنلاین چک کول هغه قوانین څرګندوي چې یو سایټ یا د هغې برخې د روبوټونو څخه پټوي.
- په ترتیب سره یې تنظیم کړئ:
Disallow: /→ تړل شوي برخې → CSS او JS → سایټ نقشه → نحو. - Disallow د شاخص څخه پاڼه نه لرې کوي؛ دا په خلاص مخ کې
noindexاړتیا لري. - که چیرې robots.txt د CMS لخوا رامینځته شي او سمونونه دوام ونه کړي، نو دا اسانه ده چې تنظیم یو متخصص ته وسپارل شي یا 1001site ته لاړ شئ ، چیرې چې شاخص کول له بکس څخه بهر تنظیم شوي.
همدا اوس خپله فایل وګورئ: د robots.txt وړیا تحلیل ترسره کړئ ، او که تاسو کوم خطرناک قواعد ومومئ، نو په Telegram کې ما ته ولیکئ.
سرچینې
- د پرومو پیلوټ د robots.txt تحلیلي وسیلې پاڼه — چکونه، د نمونې پایلې، او د پاڼې پوښتنې.
- Google د لټون مرکزي - د robots.txt او ملاتړ شویو لارښوونو معرفي.
- Google د لټون کنسول مرسته - د Robots.txt راپور.
