پاسخ کوتاه: برای بررسی آنلاین robots.txt، دامنه خود را در ابزار تجزیه و تحلیل robots.txt PromoPilot وارد کنید و روی "تجزیه و تحلیل" کلیک کنید. این ابزار به طور خودکار فایل را دانلود می‌کند، تمام دستورالعمل‌ها (مجاز، غیرمجاز، تأخیر در خزش، نقشه سایت) را تجزیه و تحلیل می‌کند، بلوک‌های User-Agent و ربات‌هایی را که هدف قرار می‌دهند نمایش می‌دهد، خطاهای نحوی و قوانین پرخطر را پیدا می‌کند، در دسترس بودن URL های حیاتی را بررسی می‌کند و توصیه‌هایی ارائه می‌دهد. این ابزار رایگان است و نیازی به ثبت نام ندارد.
گران‌ترین خطی که تا به حال در فایل robots.txt شخص دیگری دیده‌ام، « Disallow: /» بوده است، که از مراحل توسعه باقی مانده است. سایت راه‌اندازی شد، هزینه تبلیغات پرداخت شد، اما ترافیک ارگانیک به مدت سه هفته صفر ماند زیرا رباتها از بازدید از همه صفحات منع شده بودند.
آنالیز robots.txt چه چیزی را بررسی می‌کند؟
Robots.txt یک فایل متنی کوتاه در ریشه یک وبسایت است، اما به راحتی می‌توان در آن اشتباه کرد: یک اسلش اضافی معنای یک قانون را تغییر می‌دهد. این ابزار، فایل را به همان روشی که رباتهای جستجو انجام می‌دهند، می‌خواند.
| این ابزار به چه چیزی نگاه می‌کند؟ | مثال | چرا این برای سئو مناسب است؟ |
|---|---|---|
| همه بخشنامه‌ها | Allow ، Disallow ، Crawl-delay ، Sitemap | دقیقاً مشخص است که چه چیزی مجاز و چه چیزی ممنوع است. |
| بلوک‌های عامل کاربر | User-agent: * ، User-agent: Google bot | قوانین مربوط به یک ربات خاص، قوانین عمومی را لغو می‌کنند. |
| لینک‌های نقشه سایت | Sitemap: https://example.com/sitemap.xml | ربات نقشه سایت را سریعتر پیدا می‌کند |
| خطاهای نحوی | Dissalow ، قانونی بدون بلوک User-agent | یک خط نامعتبر به سادگی نادیده گرفته میشود. |
| قوانین پرخطر | Disallow: / ، private /catalog/ ، CSS و JS | صفحات مهم در اسکن وجود ندارند |
| در دسترس بودن URL های حیاتی | خانه، بخشهای اصلی | تأیید باز بودن صفحات کلیدی |
نمونه‌ای از نتیجه‌ی توضیحات ابزار: «۲ قانون Disallow با ریسک بالقوه بالا و ۱ دستورالعمل Sitemap یافت شد.» اینها انواع یافته‌هایی هستند که شایسته‌ی توجه ویژه هستند.
چگونه robots.txt را به صورت آنلاین بررسی کنیم؟
- ابزار را باز کنید. آنالیز Robots.txt در مرورگر کار می‌کند.
- دامنه را وارد کنید:
https://example.com. فایل به طور خودکار در/robots.txtدانلود خواهد شد. - روی «تجزیه و تحلیل» کلیک کنید.
- فهرست دستورالعمل‌های مربوط به بلوک‌های User-agent را مرور کنید.
- اشتباهات و قوانین پرخطر را تجزیه و تحلیل کنید - این نکته اصلی در گزارش است.
- فایل را روی سرور یا در تنظیمات CMS اصلاح کنید و دوباره بررسی را اجرا کنید.
صفحه ابزار: فیلد آدرس، دکمه «تحلیل» و توضیحات - موارد بررسی شده، سناریوها و محدودیت‌ها.
robots.txt را در دو موقعیت ضروری بررسی کنید: قبل از راه‌اندازی نسخه جدید سایت خود و بعد از هر اقدامی. این زمانی است که احتمال انتقال محدودیت‌های آزمایشی به نسخه اصلی بیشتر است. همچنین بررسی فایل robots.txt رقیب شما مفید است: بخشهای محدود شده نشان می‌دهد که آنها کدام صفحات را صفحات خدماتی می‌دانند و ساختار دایرکتوری آنها چگونه است.
چگونه نتیجه را بخوانیم و ابتدا چه چیزی را اصلاح کنیم؟
از قوانینی که کل سایت را پوشش می‌دهند به سمت لوازم آرایشی بروید.
- در بلوک
User-agent: *Disallow: /. کل سایت بسته است. اگر این نسخه آزمایشی نیست، فوراً این خط را حذف کنید. - بخشهای مهم بسته می‌شوند.
Disallow: /catalogنه تنها دایرکتوری، بلکه هر چیزی را که با این کاراکترها شروع میشود، مانند/catalog-sale/، می‌بندد. قوانین بر اساس ابتدای مسیر هستند و حروف بزرگ و کوچک مهم هستند. - CSS، JS و تصاویر مسدود شده‌اند. قوانینی مانند
Disallow: /wp-content/مانع از مشاهده صفحه Google مانند یک انسان میشود. خزنده باید استایل‌ها و اسکریپت‌ها را بارگیری کند. - هیچ خط نقشه سایتی وجود ندارد یا به خطای ۴۰۴ منجر میشود. لطفاً آدرس کامل نقشه سایت را به همراه پروتکل ارائه دهید.
- نحو. غلط املایی در نام دستورالعمل‌ها، قوانین خارج از بلوک User-Agent و خطوط خالی درون بلوک - رباتها خطوط نامعتبر را نادیده می‌گیرند و قانون بی‌سروصدا رد میشود.
- دستورالعمل‌هایی که Google از آنها پشتیبانی نمی‌کند. Google از
Crawl-delayچشم‌پوشی می‌کند و GoogleNoindexدر robots.txt پشتیبانی نمی‌کند. اگر به این موارد تکیه می‌کنید، این قانون اعمال نمی‌شود.
نمونه‌ای از یک فایل صحیح برای یک سایت WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
پنل مدیریت، جستجوی داخلی و صفحات ابزار فروشگاه بسته شده‌اند، هندلر AJAX (که بدون آن بخش‌هایی از سایت از کار می‌افتند) فعال است و نقشه سایت مشخص شده است. سایر موارد به طور پیش‌فرض فعال هستند.
چگونه می‌توان فهمید که یک URL خاص باز است یا خیر، اگر چندین قانون وجود داشته باشد؟ Google خاص‌ترین قانون را اعمال می‌کند - قانونی که طولانی‌ترین مسیر را دارد. اگر فایلی شامل Disallow: /blog/ و Allow: /blog/seo/ باشد، صفحه /blog/seo/proverka/ باز است و /blog/news/ بسته است. اگر مسیرها طول یکسانی داشته باشند، قانون allow برنده میشود. علامت ستاره * نشان‌دهنده هر دنباله از کاراکترها است و $ انتهای URL را نشان می‌دهد: Disallow: /*.pdf$ همه فایل‌های PDF را می‌بندد، اما صفحه /pdf-guide/ نمی‌بندد.
یکی دیگر از یافته‌های رایج، وجود چندین بلوک برای یک ربات یا یک بلوک مشترک است که با یک بلوک جداگانه همپوشانی دارد. اگر فایلی حاوی User-agent: Google bot ، ربات Google فقط این بلوک را می‌خواند و قوانین موجود در User-agent: * کاملاً نادیده می‌گیرد. بنابراین، تمام محدودیت‌های لازم باید در بلوک آن تکرار شوند.
یک موضوع جداگانه برای سال ۲۰۲۶، خزنده‌های هوش مصنوعی است. بلوک User-agent: GPTBot به همراه Disallow: / مانع از خزش سایت توسط OpenAI میشود. این تصمیم شماست، اما به خاطر داشته باشید: اگر سایتی برای رباتهای هوش مصنوعی بسته باشد، توصیه آن برای دستیاران دشوارتر است.
مقایسه: تجزیه و تحلیل robots.txt و جایگزین‌های PromoPilot
| ابزار | چی رایگانه؟ | محدودیت‌ها | برای چه کسانی مناسب است؟ |
|---|---|---|---|
| PromoPilot - تجزیه و تحلیل Robots.txt | تحلیل دستورالعمل‌ها و بلاک‌ها، خطاها، قوانین پرخطر، توصیه‌ها | فقط robots.txt، بدون متا تگ‌های صفحه | به سرعت وبسایت خود یا شخص دیگری را بررسی کنید |
| گزارش robots.txt کنسول جستجوی Google | Google چگونه، چه زمانی و با چه خطاهایی فایل شما را دریافت کرد | فقط برای سایت تأیید شده شما | برای صاحبان وبسایت |
| عنکبوت سئوی Screaming Frog | خزیدن در سایت با استفاده از robots.txt و بررسی قوانین شما | برنامه نیاز به نصب دارد | ممیزی فنی |
| بررسی دستی در مرورگر | /robots.txt را باز کنید و بخوانید. | بدون تحلیل خطاها و نکات | اگر فایل سه خط داشته باشد |
نتیجه‌گیری: کنسول جستجو نشان می‌دهد که Google چگونه فایل را می‌بیند، اما فقط برای سایت شما. تجزیه و تحلیل آنلاین با هر دامنه‌ای کار می‌کند و توضیح می‌دهد که چه چیزی اشتباه است.
تحلیل Robots.txt یکی از ۸۷ ابزار رایگان سئو PromoPilot است. اگر فایل robots.txt ندارید یا بازنویسی آن از ابتدا آسان‌تر است، مقاله مرتبط را در بخش مولد robots.txt بررسی کنید - در آنجا یک سازنده بصری برای ایجاد فایل پیدا خواهید کرد. و برای بررسی خود نقشه سایت، یک ابزار تحلیل sitemap.xml جداگانه وجود دارد.
محدودیت‌ها: بررسی robots.txt جایگزین چه چیزی نمی‌شود؟
این ابزار فقط فایل robots.txt را بررسی می‌کند و جایگزین ممیزی متا تگ robots در سطح صفحه نمی‌شود. یک صفحه ممکن است در robots.txt باز باشد اما توسط یک متا تگ noindex یا یک هدر X-Robots-Tag مسدود شده باشد. چنین محدودیت‌هایی باید با انجام بررسی صفحه یا ممیزی کامل شناسایی شوند.
موتورهای جستجوی مختلف، دستورالعمل‌های غیراستاندارد را به طور متفاوتی تفسیر می‌کنند. آنچه یک موتور جستجو پشتیبانی می‌کند، دیگری بی‌سروصدا نادیده می‌گیرد. به Sitemap استاندارد User-agent ، Allow ، Disallow و Sitemap تکیه کنید - همه موتورهای جستجوی اصلی آنها را می‌فهمند.
و به یاد داشته باشید: robots.txt فایل امنیتی نیست. مودبانه از رباتها می‌خواهد که وارد نشوند، اما دسترسی را مسدود نمی‌کند. پنل مدیریت و داده‌های شخصی با رمز عبور محافظت می‌شوند، نه با خط "Disallow". علاوه بر این، robots.txt برای همه باز است: با فهرست کردن بخشهای "مخفی" در آن، آنها را در معرض دید افراد کنجکاو قرار می‌دهید.
چه زمانی یک ابزار رایگان کافی نیست؟
پیدا کردن یک قانون ریسک‌پذیر نیمی از راه است. تصمیم‌گیری در مورد اینکه کدام بخشها را باید تعطیل کنید، خود یک استراتژی است. اگر موارد زیر را دارید، به یک متخصص نیاز دارید:
- این فروشگاه هزاران صفحه فیلتر و گزینه‌های مرتب‌سازی دارد و مشخص نیست کدام یک از آنها را ببندد؛
- سایت از نتایج جستجو خارج شد، اما robots.txt «به نظر می‌رسد مشکلی ندارد»؛
- robots.txt توسط CMS یا افزونه تولید میشود و ویرایش‌های شما رونویسی می‌شوند.
- ما باید تصمیم بگیریم که آیا خزنده‌های هوش مصنوعی را فعال کنیم یا خیر و این موضوع چگونه بر میزان دیده شدن در دستیاران تأثیر خواهد گذاشت.
برای وبسایت شما چه کاری می‌توانم انجام دهم؟
اسم من والری دانیوک است، و من یک توسعه‌دهنده و متخصص سئو با ۱۲ سال سابقه و بیش از ۲۰۰ مشتری هستم. Robots.txt، متا تگ‌ها و نقشه‌های سایت اولین چیزهایی هستند که من در هر ممیزی بررسی می‌کنم.
سئو و تبلیغات
- ممیزی سئو آماده: robots.txt، noindex، canonical، نقشه سایت و ایندکس گذاری واقعی - با اصلاحات.
- Autoblog با عوامل هوش مصنوعی یک تیم تحریریه بدون دخالت انسان است که مقالات را منتشر می‌کند و بلافاصله آنها را برای فهرست‌بندی باز می‌کند.
- GEO: چگونه یک هتل در ChatGPT ، Gemini و Perplexity نمایش داده شد - مطالعه موردی در مورد قابلیت مشاهده در پاسخ‌های دستیار هوش مصنوعی.
وب‌سایت‌ها و فروشگاه‌های آنلاین
- یک وبسایت WordPress با دستیار هوش مصنوعی با قیمت ۲۹۹ یورو - با یک فایل robots.txt مناسب و نقشه سایت از روز اول.
- وبسایت در 1001site: نقشه سایت، داده‌های ساختاریافته و ایندکس‌گذاری رباتهای هوش مصنوعی به‌طور خودکار پیکربندی می‌شوند.
CRM، حسابداری و اتوماسیون
- ERP، وبسایت و ربات Telegram مجهز به هوش مصنوعی برای دمونتاژ خودکار در ۶ روز.
- یک پلتفرم دراپ شیپینگ با فروشگاه‌های همکار - که در آن هر فروشگاه به فایل robots.txt معتبر خود نیاز دارد.
همه موارد در نمونه کارها هستند. آدرس خود را در Telegram برای من ارسال کنید، من robots.txt شما را می‌خوانم و اگر بخشهای غیرضروری را بسته باشم، به شما اطلاع می‌دهم.
نتیجه
- بررسی آنلاین robots.txt تنها در یک دقیقه، قوانینی را آشکار می‌کند که یک سایت یا بخش‌هایی از آن را از رباتها پنهان می‌کنند.
- به ترتیب اصلاح کنید:
Disallow: /→ بخشهای بسته → CSS و JS → نقشه سایت → سینتکس. - گزینه Disallow صفحهای را از ایندکس حذف نمی‌کند؛ این گزینه مستلزم
noindexصفحه باز است. - اگر robots.txt توسط CMS تولید شده باشد و ویرایش‌ها انجام نشوند، راحت‌تر می‌توان تنظیمات را به یک متخصص سپرد یا به 1001site مراجعه کرد ، جایی که ایندکس‌گذاری به صورت پیش‌فرض پیکربندی شده است.
همین الان فایل خود را بررسی کنید: یک آنالیز رایگان robots.txt اجرا کنید ، و اگر قوانین خطرناکی پیدا کردید، در Telegram برای من بنویسید.
منابع
- صفحه ابزار تحلیل robots.txt در PromoPilot - بررسی‌ها، نمونه نتایج و سوالات صفحه.
- مرکز جستجوی Google - مقدمه‌ای بر robots.txt و دستورالعمل‌های پشتیبانی‌شده.
- راهنمای کنسول جستجوی Google - گزارش Robots.txt.
