لنډ ځواب: د آنلاین robots.txt فایل جوړولو لپاره، د PromoPilot robots.txt جنریټر پرانیزئ، یو پری سیټ غوره کړئ (ګمرک، ټولو ته اجازه ورکړئ، ټولو ته انکار وکړئ، WordPress ، Laravel، یا Next.js)، د Disallow او Allow لپاره لارې دننه کړئ، د Sitemap لاین لپاره د ویب پاڼې پته دننه کړئ، او په اختیاري توګه د Crawl-delay یا block AI crawlers وګورئ. بشپړ شوی فایل به په ښي خوا کې ښکاره شي - تاسو کولی شئ دا کاپي یا ډاونلوډ کړئ. دا وړیا دی او هیڅ راجسټریشن ته اړتیا نلري.
زه د هرې نوې ویب پاڼې لپاره robots.txt لیکم او پوهیږم چې په لاسي ډول غلطۍ کول څومره اسانه دي: یو اضافي ځای، یو هیر شوی سلیش، د بلاک څخه بهر یو قاعده. د robots.txt جوړونکی دا ستونزه له منځه وړي — تاسو د دې په اړه فکر کوئ چې څه وتړئ، نه د ترکیب په اړه. لاندې، موږ به تشریح کړو چې دا څنګه وکاروو، څه وتړو، او بشپړ شوی فایل چیرته واچوو.
د robots.txt جنریټر څه کوي؟
جنریټر د متن مدیر پر ځای یوه فورمه ده. تاسو تنظیمات غوره کوئ، او وسیله یې په یوه باوري فایل کې راټولوي او په ژوندۍ مخکتنه کې یې ښیې.
| تنظیم کول | څه شی تنظیموي | ولې سایټ دې ته اړتیا لري؟ |
|---|---|---|
| مخکې ټاکل شوی | دودیز، ټولو ته اجازه ورکړئ، ټولو ته انکار وکړئ، WordPress ، لارویل، Next.js | ستاسو د انجن لپاره یو چمتو شوی پیل ټکی |
| د ویب پاڼې URL | Sitemap لاین لپاره پته | روباټونه پخپله د سایټ نقشه پیدا کوي |
| لارې منع کړئ | هغه برخې چې باید سکین نشي، په هره کرښه کې یوه | روبوټ د ادارې پینل او خدماتو پاڼو کې وخت نه ضایع کوي. |
| لارې ته اجازه ورکړئ | د تړلو برخو کې استثناوې | مطلوب فایل په تړل شوي فولډر کې خلاص کړئ |
| د کرول ځنډ (۱۰ ثانیې) | د روبوټ غوښتنو ترمنځ وقفه | د روبوټونو لپاره چې دا په پام کې نیسي د ضعیف سرور بار کمول |
| د مصنوعي ذهانت لرونکو کسانو بندول | د GPTBot، Claude ، او نورو AI روبوټونو بندیز | کنټرول کړئ چې څوک ستاسو محتوا کاروي |
| مخکتنه، کاپي، ډاونلوډ | بشپړ شوی robots.txt فایل | تاسو کولی شئ دا سمدلاسه سرور ته اپلوډ کړئ. |
د محدودیت پوهیدل مهم دي: جنریټر یو فایل جوړوي، مګر دا موجوده فایل نه ګوري. که تاسو دمخه د robots.txt فایل لرئ او غواړئ چې په هغه کې غلطۍ ومومئ، نو تاسو اړتیا لرئ چې د robots.txt فایل تحلیل کړئ — په راتلونکې برخه کې مقاله دې ته وقف شوې ده.
څنګه آنلاین robots.txt جوړ کړو؟
- د robots.txt جنریټر خلاص کړئ.
- د خپل انجن لپاره یو مخکینۍ ټاکل شوی انتخاب کړئ. که ستاسو انجن لیست شوی نه وي، نو "ګمرک" غوره کړئ.
- د ویب پاڼې پته دننه کړئ —
https://example.com. دا به دSitemapلاین رامینځته کړي. - د "Disallow" لارې اضافه کړئ ، په هر کرښه کې یو:
/admin/،/tmp/،/search/. - که اړتیا وي، د محدودو فولډرونو دننه استثناوو ته اجازه ورکړئ ، لکه
/uploads/images/اضافه کړئ. - بکسونه وګورئ: د سایټ نقشه، کرول-ځنډ، د AI کرولرونه بند کړئ.
- فایل کاپي یا ډاونلوډ کړئ او د سایټ روټ ته یې اپلوډ کړئ.
د پاڼې په چپ اړخ کې ترتیبات دي، او په ښي خوا کې د "کاپي" او "robots.txt ډاونلوډ" تڼیو سره د فایل ژوندۍ کتنه ده.
فایل باید په کلکه د ډومین په ریښه کې موقعیت ولري: https://example.com/robots.txt. روباټونه به دا په /blog/robots.txt فولډر یا بل فرعي ډومین کې ونه موندل شي — هر فرعي ډومین خپل robots.txt فایل لري.
د ډاونلوډ شوي فایل اپلوډ کول په سمه توګه چیرته په پلیټ فارم پورې اړه لري:
- منظم کوربه توب - د پینل د فایل مدیر یا FTP له لارې هغه فولډر ته چې اصلي پاڼه موقعیت لري (ډیری وختونه
public_htmlیاwww). - WordPress — که چیرې فزیکي فایل نه وي، انجن یو مجازی robots.txt فایل وړاندې کوي. د فایل اپلوډ کول روټ ته د هغې ځای نیسي؛ دوهم انتخاب د SEO پلگ ان کې د فایل ایډیټر کارول دي.
- Next.js او نور چوکاټونه — فایل په
publicفولډر کې ځای پر ځای کیږي یا د پروژې کوډ څخه رامینځته کیږي ترڅو د راتلونکي ځای پرځای کولو پرمهال ورک نشي. - د ویب پاڼې جوړونکي - فایل معمولا د SEO ترتیباتو کې ایډیټ کیږي نه دا چې په لاسي ډول اپلوډ شي.
فایل باید په کوچني حروف کې robots.txt نومول شي او په UTF-8 کوډ کولو کې د ساده متن په توګه خوندي شي. د ډاونلوډ کولو وروسته، دا په خپل براوزر کې پرانیزئ: که تاسو خپل متن وګورئ، هرڅه په خپل ځای دي.
په robots.txt کې څه باید وتړل شي او څه باید ونه تړل شي؟
اصلي اصل: هر هغه څه بند کړئ چې لټون ته ارزښت نه ورکوي او د روبوټ وخت ضایع کوي. هر هغه څه مه بندوئ چې د روبوټ لپاره د پاڼې د پوهیدو لپاره اړین وي.
معمولا تړل کیږي:
- د ادارې پینل او شخصي حساب:
/admin/،/wp-admin/،/account/؛ - کارټ او چیک آوټ:
/cart/,/checkout/; - داخلي لټون:
/search/,/?s=; - خدمت او لنډمهاله فولډرونه:
/tmp/،/cgi-bin/؛ - د فلټرونو او ترتیب کولو اختیارونو بې پایه ترکیبونه - ښه، یوازې هغه وخت چې د اړینو فلټرونو لپاره جلا لینډینګ پاڼې شتون ولري.
هیڅکله مه تړئ:
- سي ایس ایس، جاواسکریپټ، او انځورونه - د دوی پرته، Google به پاڼه هغه ډول ونه ګوري لکه څنګه چې یو انسان یې ګوري؛
- کتلاګ، بلاګ، د محصول کارتونه او د لینډینګ پاڼې؛
- هغه پاڼې چې تاسو غواړئ له شاخص څخه لرې کړئ - د دې لپاره تاسو
noindexاړتیا لرئ، او روبوټ باید د لوستلو وړ وي.
دلته هغه فایل دی چې تاسو به یې WooCommerce سره د یو عادي WordPress پلورنځي لپاره ترلاسه کړئ:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
د بیرغونو په اړه. Google د کرول ځنډ په پام کې نه نیسي — یوازې هغه وخت یې فعال کړئ که ستاسو سرور د نورو بوټو څخه رنځ وړي. د AI کرالرونو بندول یوه سوداګریزه پریکړه ده: که تاسو غواړئ چې ChatGPT ، Gemini ، او Perplexity ستاسو په اړه پوه شي او تاسو ته سپارښتنه وکړي، نو د دوی لاسرسی مه بندوئ.
بل عملي ټکی د سایټ د ازموینې نسخه ده. د سټیجینګ کاپي لپاره، د "ټول رد کړئ" پریسیټ وکاروئ، مګر ډاډ ترلاسه کړئ چې د پیل کولو په وخت کې فایل بدل کړئ: یو هیر شوی Disallow: / هغه څه دي چې ډیری وختونه نوي سایټونو ته ټرافیک کموي.
پرتله کول: د پرومو پیلوټ جنراتور او د Robots.txt جوړولو نورې لارې
| لاره | څه وړیا دي؟ | محدودیتونه | دا د چا لپاره مناسب دی؟ |
|---|---|---|---|
| پرومو پیلوټ — Robots.txt جنریټر | پریسیټونه، اجازه نه ورکول او اجازه ورکول، د سایټ نقشه، د کرول ځنډ، د AI بوټ بلاک کول، ډاونلوډ | تاسو باید فایل پخپله سرور ته اپلوډ کړئ. | د پیل کونکو او هر هغه چا لپاره چې نه غواړي نحو په یاد ولري |
| په WordPress SEO پلگ ان کې ایډیټر (د مثال په توګه Yoast SEO) | د اډمین پینل څخه مستقیم د فایل ترمیم کول | یوازې WordPress لپاره، تاسو پخپله ترکیب ولیکئ | WordPress ویب پاڼې مالکینو لپاره |
| په Next.js کې د روباټونو فایل | robots.txt د پروژې کوډ څخه جوړ شوی دی | پراختیا ورکوونکي ته اړتیا ده | Next.js پروژې |
| د متن مدیر | بشپړه ازادي | غلطي کول اسانه دي، هیڅ نښې نشته | د هغو کسانو لپاره چې معیار په زړه پوهیږي |
پایله: جنریټر د ترکیب له پوهیدو پرته د اعتبار وړ فایل ترلاسه کولو لپاره ترټولو ګړندۍ لاره ده. پلگ ان او د پروژې کوډ هغه وخت اسانه دي کله چې فایل د ویب پاڼې سره یوځای بدلولو ته اړتیا ولري.
جنراتور د پرومو پیلوټ د ۸۷ وړیا SEO وسیلو څخه یو دی. د فایل ډاونلوډ کولو وروسته، دا د robots.txt تحلیل کونکي سره وګورئ، او د سایټ میپ لاین لپاره، د sitemap.xml جنراتور وکاروئ — دواړه د دې برخې په نږدې مقالو کې پوښل شوي دي.
د جنراتور محدودیتونه: هغه څه چې دا به ستاسو لپاره ونه کړي
جنریټر ستاسو د سایټ جوړښت نه پوهیږي. د WordPress پری سیټ به د خدماتو عادي لارې وتړي، مګر دا به اټکل ونکړي چې ستاسو د پلورنځي فلټرونه په /filter/ کې او داخلي لټون په /find/ کې ژوند کوي. تاسو به اړتیا ولرئ چې دا لارې پخپله دننه کړئ.
دا فایل سرور ته نه اپلوډ کوي یا دا نه ګوري چې فایل /robots.txt په ویب پاڼه کې د 200 حالت کوډ سره لاسرسی لري. د اپلوډ کولو وروسته، پته په براوزر کې خلاص کړئ یا یې د پارسر له لارې چل کړئ.
او دا noindex ځای نه نیسي: که هدف د لټون پایلو څخه پاڼې لرې کول وي، نو robots.txt مناسب نه دی. په پای کې، فایل ستاسو معلومات نه ساتي: دا عامه ده، او هرڅوک کولی شي ولولي چې تاسو کومې برخې بندې کړې دي. رازونه د پټنوم تر شا پټ دي.
کله وړیا وسیله کافي نه وي؟
د فایل جوړول پنځه دقیقې وخت نیسي. د زرګونو پاڼو لرونکي سایټ کې د څه شی بندولو پریکړه کول ډیر کار دی. تاسو یو متخصص ته اړتیا لرئ که چیرې:
- دا هټۍ د فلټرونو سلګونه ترکیبونه لري، او ځینې یې ترافیک رامینځته کوي؛
- دا سایټ څو ژبني دی، په فرعي ډومینونو کې یا د ژبو لپاره جلا فولډرونو سره؛
- د robots.txt د سمولو وروسته، ټرافیک کم شو، او دا روښانه نه ده چې کوم قانون ملامت دی؛
- تاسو اړتیا لرئ چې robots.txt، میټا ټګونه، کینونیکي، او سایټ میپ په یو سیسټم کې تنظیم کړئ.
زه ستاسو د ویب پاڼې لپاره څه کولی شم؟
زما نوم والیري دانیوک دی، زه یو پراختیا ورکوونکی او د SEO متخصص یم چې ۱۲ کاله تجربه لرم او له ۲۰۰ څخه ډیر مراجعین لرم. د robots.txt مناسب فایل د هرې ویب پاڼې برخه ده چې زه یې جوړوم.
SEO او ترویج
- د SEO پلټنه: robots.txt، noindex، canonical، او sitemap د یو متحد سیسټم په توګه، نه د تصادفي قواعدو یوه ټولګه.
- د مصنوعي ذهانت په واسطه چلېدونکی SEO بلاګ چې عضوي لیډونه راوړي.
- یو څو ژبی ویب پاڼه پرته له ژباړونکي څخه — چیرې چې robots.txt او سایټ میپ باید ټولې ژبې په پام کې ونیسي.
ویب پاڼې او آنلاین پلورنځي
- WooCommerce آنلاین پلورنځی: له ۴۰ څخه زیات ټیمپلیټونه، ۲۹۹ یورو — د کارټ، فلټرونو او چیک آوټ لپاره د robots.txt سره.
- په 1001site کې یوه ویب پاڼه، چیرې چې د سایټ نقشه او شاخص په اتوماتيک ډول تنظیم کیږي. دا د ګډون فیس سره د جوړونکي څخه څنګه توپیر لري؟ د ټیلډا په مقابل کې د مصنوعي ذهانت لخوا پرمخ وړل شوي ویب پاڼې تحلیل.
CRM، محاسبه او اتومات کول
- د آنلاین پلورنځي لپاره د میاشتني محاسبې سیسټم - د چک جمهوریت څخه د یوې شرکت لپاره یوه پروژه.
- کویسټ فلو د مصنوعي ذهانت سره Telegram د SaaS جوړونکی دی.
په پورټ فولیو کې نور څه. نه پوهېږم چې څه پوښئ؟ خپل د ویب پاڼې پته په Telegram کې راته راولیږئ - زه به ستاسو د جوړښت لپاره قواعد وړاندیز کړم.
پایله
- د آنلاین robots.txt جنریټر په پنځو دقیقو کې یو سم فایل جوړوي: پری سیټ، لارې، سایټ نقشه، بیرغونه.
- د اډمین پینل، ریسایکل بن، لټون، او خدماتو فولډرونه بند کړئ؛ CSS، JS، کتلاګ، یا بلاګ مه تړئ.
- robots.txt له انډیکس څخه پاڼې نه لرې کوي - دا هغه څه دي چې
noindexد دې لپاره دي. - یو پیچلی جوړښت، فلټرونه او ژبې یو دلیل دی چې تنظیم یو متخصص ته وسپارل شي یا په 1001site کې یو سایټ جوړ شي ، چیرې چې شاخص کول له بکس څخه بهر تنظیم شوي.
همدا اوس د وړیا robots.txt جنریټر په کارولو سره خپل robots.txt فایل جوړ کړئ، او که تاسو د قواعدو په اړه کومه پوښتنه لرئ، نو ما ته په Telegram کې ولیکئ.
سرچینې
- د پرومو پیلوټ د robots.txt جنریټر وسیلې پاڼه — ترتیبات، مخکینۍ سیټونه، او د پاڼې پوښتنې.
- Google لټون مرکزي - څنګه د Robots.txt فایل جوړ او وسپارئ.
- Next.js اسناد - د روبوټونو میټاډاټا فایل.
