پاسخ کوتاه: برای ایجاد فایل robots.txt به صورت آنلاین، مولد robots.txt PromoPilot را باز کنید، یک پیش‌تنظیم (Custom، Allow all، Deny all، WordPress ، Laravel یا Next.js) را انتخاب کنید، مسیرهای Disallow و Allow را وارد کنید، آدرس وبسایت را برای خط Sitemap وارد کنید و به صورت اختیاری Crawl-delay یا block AI crawlers را علامت بزنید. فایل تکمیل شده در سمت راست ظاهر میشود - می‌توانید آن را کپی یا دانلود کنید. رایگان است و نیازی به ثبت‌نام ندارد.
من برای هر وبسایت جدیدی robots.txt می‌نویسم و می‌دانم که چقدر راحت می‌توان به صورت دستی اشتباه کرد: یک فضای اضافی، یک اسلش فراموش شده، یک قانون خارج از یک بلوک. سازنده robots.txt این مشکل را از بین می‌برد - شما به این فکر می‌کنید که چه چیزی را ببندید، نه به نحو آن. در زیر، نحوه استفاده از آن، آنچه را که باید ببندید و محل قرار دادن فایل نهایی را توضیح خواهیم داد.
مولد robots.txt چه کاری انجام میدهد؟
این مولد به جای ویرایشگر متن، یک فرم است. شما تنظیمات را انتخاب می‌کنید و این ابزار آنها را در یک فایل معتبر جمع‌آوری کرده و در یک پیش‌نمایش زنده نمایش میدهد.
| راه‌اندازی | چه مجموعه‌هایی | چرا سایت به این نیاز دارد؟ |
|---|---|---|
| از پیش تعیین شده | سفارشی، مجاز کردن همه، رد کردن همه، WordPress ، لاراول، Next.js | یک نقطه شروع آماده برای موتور شما |
| آدرس وبسایت | آدرس برای خط Sitemap | رباتها خودشان نقشه سایت را پیدا می‌کنند |
| مسیرها را غیرفعال کنید | بخش‌هایی که نباید اسکن شوند، هر کدام در یک سطر | ربات وقتش را در پنل مدیریت و صفحات خدمات تلف نمی‌کند. |
| مسیرها را مجاز کنید | استثنائات در بخش‌های بسته | فایل مورد نظر را در یک پوشه بسته باز کنید |
| تأخیر خزیدن (10 ثانیه) | مکث بین درخواست‌های ربات | کاهش بار روی سرور ضعیف برای ربات‌هایی که آن را در نظر می‌گیرند |
| مسدود کردن خزندههای هوش مصنوعی | مسدود شدن برای GPTBot، Claude و دیگر رباتهای هوش مصنوعی | کنترل کنید چه کسی از محتوای شما استفاده می‌کند |
| پیش‌نمایش، کپی، دانلود | فایل robots.txt تکمیل شده | شما می‌توانید بلافاصله آن را روی سرور آپلود کنید. |
درک این محدودیت مهم است: مولد فایلی ایجاد می‌کند، اما فایل موجود را بررسی نمی‌کند. اگر از قبل فایل robots.txt دارید و می‌خواهید خطاهایی را در آن پیدا کنید، باید فایل robots.txt را تجزیه و تحلیل کنید - مقاله بخش بعدی به این موضوع اختصاص داده شده است.
چگونه robots.txt را به صورت آنلاین ایجاد کنیم؟
- مولد robots.txt را باز کنید.
- یک پیش‌تنظیم برای موتور خود انتخاب کنید. اگر موتور شما در فهرست نیست، «سفارشی» را انتخاب کنید.
- آدرس وبسایت را وارد کنید -
https://example.com. این یک خطSitemapایجاد می‌کند. - مسیرهای Disallow را اضافه کنید ، هر کدام در یک خط:
/admin/،/tmp/،/search/. - در صورت لزوم، استثنائات مجاز را در پوشه‌های خصوصی، مانند
/uploads/images/اضافه کنید. - کادرهای زیر را علامت بزنید: نقشه سایت، تأخیر در خزش، مسدود کردن خزندههای هوش مصنوعی.
- فایل را کپی یا دانلود کنید و در ریشه سایت آپلود کنید.
در سمت چپ صفحه، تنظیمات قرار دارند و در سمت راست، پیش‌نمایش زنده‌ی فایل به همراه دکمه‌های «کپی» و «دانلود robots.txt» قابل مشاهده است.
این فایل باید دقیقاً در ریشه دامنه قرار داشته باشد: https://example.com/robots.txt. رباتها آن را در پوشه /blog/robots.txt یا در زیردامنه دیگری پیدا نمی‌کنند - هر زیردامنه فایل robots.txt مخصوص به خود را دارد.
محل دقیق آپلود فایل دانلود شده به پلتفرم بستگی دارد:
- میزبانی منظم - از طریق مدیریت فایل پنل یا FTP به پوشه‌ای که صفحه اصلی در آن قرار دارد (اغلب
public_htmlیاwww). - WordPress - اگر فایل فیزیکی وجود نداشته باشد، موتور یک فایل مجازی robots.txt را ارائه میدهد. آپلود فایل در ریشه، آن را جایگزین می‌کند؛ گزینه دوم استفاده از ویرایشگر فایل در افزونه سئو است.
- Next.js و سایر فریم‌ورک‌ها - این فایل در پوشه
publicقرار میگیرد یا از کد پروژه تولید میشود تا در طول استقرار بعدی از بین نرود. - سازندگان وبسایت - این فایل معمولاً در تنظیمات سئو ویرایش میشود و به صورت دستی آپلود نمی‌شود.
فایل باید با حروف کوچک robots.txt نامگذاری شود و با کدگذاری UTF-8 به صورت متن ساده ذخیره شود. پس از دانلود، آن را در مرورگر خود باز کنید: اگر متن خود را مشاهده کردید، همه چیز سر جای خود قرار دارد.
چه چیزهایی باید و چه چیزهایی نباید در robots.txt بسته شوند؟
اصل اصلی: هر چیزی را که ارزشی به جستجو اضافه نمی‌کند و وقت ربات را تلف می‌کند، ببندید. هیچ چیزی را که برای درک صفحه توسط ربات ضروری است، نبندید.
معمولاً بسته است:
- پنل مدیریت و حساب شخصی:
/admin/،/wp-admin/،/account/؛ - سبد خرید و پرداخت:
/cart/،/checkout/؛ - جستجوی داخلی:
/search/،/?s=; - پوشه‌های سرویس و موقت:
/tmp/،/cgi-bin/؛ - ترکیب‌های بی‌پایان فیلترها و گزینه‌های مرتب‌سازی - مرتب، فقط در صورتی که صفحات فرود جداگانه‌ای برای فیلترهای مورد نیاز وجود داشته باشد.
هرگز بسته نشود:
- CSS، جاوا اسکریپت و تصاویر - بدون آنها، Google صفحه را آنطور که یک انسان می‌بیند، نمی‌بیند؛
- کاتالوگ، وبلاگ، کارت‌های محصول و صفحات فرود؛
- صفحاتی که می‌خواهید از ایندکس حذف کنید - برای این کار
noindexنیاز دارید و ربات باید بتواند آن را بخواند.
این فایلی است که برای یک فروشگاه معمولی WordPress با WooCommerce دریافت خواهید کرد:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
در مورد پرچم‌ها. Google تأخیر خزش را در نظر نمی‌گیرد—فقط در صورتی آن را فعال کنید که سرور شما از وجود رباتهای دیگر رنج می‌برد. مسدود کردن خزندههای هوش مصنوعی یک تصمیم تجاری است: اگر می‌خواهید ChatGPT ، Gemini و Perplexity از شما مطلع شوند و شما را توصیه کنند، دسترسی آنها را مسدود نکنید.
نکته کاربردی دیگر، نسخه آزمایشی سایت است. برای نسخه آزمایشی، از گزینه "Deny All" استفاده کنید، اما حتماً فایل را هنگام راه‌اندازی جایگزین کنید: یک Disallow: / فراموش شده اغلب باعث کاهش ترافیک سایت‌های جدید میشود.
مقایسه: مولد PromoPilot و روش‌های دیگر برای ایجاد Robots.txt
| راه | چی رایگانه؟ | محدودیت‌ها | برای چه کسانی مناسب است؟ |
|---|---|---|---|
| PromoPilot — تولیدکننده‌ی Robots.txt | تنظیمات از پیش تعیین‌شده، عدم اجازه و اجازه، نقشه سایت، تأخیر در خزش، مسدود کردن ربات هوش مصنوعی، دانلود | شما باید خودتان فایل را روی سرور آپلود کنید. | برای مبتدیان و هر کسی که نمی‌خواهد سینتکس را به خاطر بسپارد |
| ویرایشگر در یک افزونه سئو WordPress (مثلاً Yoast SEO) | ویرایش مستقیم فایل از پنل مدیریت | فقط برای WordPress ، شما خودتان سینتکس را می‌نویسید | برای صاحبان وب‌سایت‌های WordPress |
| فایل رباتها در Next.js | robots.txt از کد پروژه تولید میشود. | توسعه‌دهنده مورد نیاز | پروژه‌های Next.js |
| ویرایشگر متن | آزادی کامل | اشتباه کردن آسان است، هیچ سرنخی وجود ندارد | برای کسانی که استاندارد را از بر هستند |
نتیجه‌گیری: مولد کد، سریع‌ترین راه برای دریافت یک فایل معتبر بدون دانستن سینتکس است. افزونه و کد پروژه زمانی که فایل نیاز به تغییر همراه با وبسایت دارد، مناسب هستند.
این مولد یکی از ۸۷ ابزار سئو رایگان PromoPilot است. پس از دانلود فایل، آن را با یک تحلیلگر robots.txt بررسی کنید و برای خط نقشه سایت، از مولد sitemap.xml استفاده کنید - هر دو در مقالات مجاور در این بخش پوشش داده شده‌اند.
محدودیت‌های ژنراتور: چه کارهایی برای شما انجام نمی‌دهد
مولد ساختار سایت شما را نمی‌داند. تنظیمات پیش‌فرض WordPress مسیرهای سرویس معمول را می‌بندد، اما حدس نمی‌زند که فیلترهای فروشگاه شما در /filter/ و جستجوی داخلی در /find/ قرار دارند. شما باید خودتان این مسیرها را وارد کنید.
این فایل را روی سرور آپلود نمی‌کند یا بررسی نمی‌کند که آیا فایل در /robots.txt با کد وضعیت ۲۰۰ قابل دسترسی است یا خیر. پس از آپلود، آدرس را در یک مرورگر باز کنید یا آن را از طریق یک تجزیه‌کننده اجرا کنید.
و جایگزین noindex نمی‌شود: اگر هدف حذف صفحات از نتایج جستجو باشد، robots.txt مناسب نیست. در نهایت، این فایل از داده‌های شما محافظت نمی‌کند: عمومی است و هر کسی می‌تواند بخش‌هایی را که قفل کرده‌اید بخواند. اسرار پشت رمز عبور پنهان شده‌اند.
چه زمانی یک ابزار رایگان کافی نیست؟
تولید یک فایل پنج دقیقه طول می‌کشد. تصمیم‌گیری در مورد اینکه چه چیزی را روی سایتی با هزاران صفحه قفل کنید، کار زیادی است. اگر موارد زیر را دارید، به یک متخصص نیاز دارید:
- این فروشگاه صدها ترکیب فیلتر دارد و برخی از آنها باعث ایجاد ترافیک می‌شوند؛
- سایت چندزبانه است، روی زیردامنه‌ها یا با پوشه‌های جداگانه برای زبان‌ها؛
- بعد از ویرایش robots.txt، ترافیک کاهش یافت و مشخص نیست کدام قانون مقصر است؛
- شما باید robots.txt، متا تگ‌ها، canonical و نقشه سایت را در یک سیستم هماهنگ کنید.
برای وبسایت شما چه کاری می‌توانم انجام دهم؟
اسم من والری دانیوک است، من یک توسعه‌دهنده و متخصص سئو با ۱۲ سال سابقه و بیش از ۲۰۰ مشتری هستم. یک فایل robots.txt مناسب بخشی از هر وب‌سایتی است که می‌سازم.
سئو و تبلیغات
- ممیزی سئوی آماده: robots.txt، noindex، canonical و sitemap به عنوان یک سیستم یکپارچه، نه مجموعه‌ای از قوانین تصادفی.
- یک وبلاگ سئو مبتنی بر هوش مصنوعی که منجر به جذب سرنخ‌های ارگانیک میشود.
- یک وبسایت چندزبانه بدون مترجم - که در آن robots.txt و نقشه سایت باید همه زبان‌ها را در نظر بگیرند.
وب‌سایت‌ها و فروشگاه‌های آنلاین
- فروشگاه آنلاین WooCommerce: بیش از ۴۰ قالب، ۲۹۹ یورو - به همراه robots.txt برای سبد خرید، فیلترها و پرداخت.
- یک وبسایت در 1001site ، که در آن نقشه سایت و فهرست‌بندی به صورت خودکار پیکربندی می‌شوند. این چه تفاوتی با سازنده‌ای با هزینه اشتراک دارد؟ تیلدا در مقابل تجزیه و تحلیل وبسایت مبتنی بر هوش مصنوعی.
CRM، حسابداری و اتوماسیون
- یک سیستم حسابداری ماهانه برای یک فروشگاه آنلاین - پروژه‌ای برای یک شرکت از جمهوری چک.
- کوئست‌فلو (QuestFlow) یک سازنده‌ی نرم‌افزار به عنوان سرویس (SaaS) Telegram با هوش مصنوعی است.
بیشتر در نمونه کارها. مطمئن نیستید چه چیزی را پوشش دهید؟ آدرس وبسایت خود را در Telegram برای من ارسال کنید - من قوانینی را برای ساختار شما پیشنهاد خواهم داد.
نتیجه
- مولد آنلاین robots.txt در عرض پنج دقیقه یک فایل صحیح ایجاد می‌کند: پیش‌تنظیمات، مسیرها، نقشه سایت، پرچم‌ها.
- پنل مدیریت، سطل بازیافت، جستجو و پوشه‌های سرویس را ببندید؛ CSS، JS، کاتالوگ یا وبلاگ را نبندید.
- robots.txt صفحات را از ایندکس حذف نمی‌کند -
noindexبرای همین کار است. - ساختار پیچیده، فیلترها و زبان‌ها دلیلی برای سپردن تنظیمات به یک متخصص یا ساخت سایتی در 1001site است، جایی که نمایه‌سازی از ابتدا پیکربندی شده است.
همین الان با استفاده از مولد رایگان robots.txt فایل robots.txt خودتان را بسازید، و اگر در مورد قوانین سوالی دارید، در Telegram برای من بنویسید.
منابع
- صفحه ابزار تولید robots.txt در PromoPilot - تنظیمات، پیش‌تنظیمات و سوالات صفحه.
- مرکز جستجوی Google - نحوه ایجاد و ارسال فایل Robots.txt.
- مستندات Next.js - فایل فراداده رباتها.
