پاسخ کوتاه: برای بررسی ایندکس شدن یک صفحه در Google ، آدرس آن را در ابزار بررسی ایندکس شدن صفحه PromoPilot وارد کنید. این ابزار یک درخواست واقعی از سایت به Google ارسال میکند و به شما میگوید که آیا URL ایندکس شده است یا خیر. در غیر این صورت، هرگونه مشکلی از جمله ربات‌های متا و تگ‌های X-Robots، robots.txt غیرمجاز، کانونیکال‌سازی به URL دیگر یا فقدان sitemap.xml را بررسی میکند. سپس حکمی را به همراه علل و راه‌حل‌های احتمالی ارائه می‌دهد. این ابزار رایگان است و نیازی به ثبت‌نام ندارد. در زیر نحوه خواندن حکم و نحوه برخورد با هر مشکل آمده است.
«این صفحه یک ماه پیش منتشر شده، اما در Google نیست» رایج‌ترین سوالی است که از من پرسیده می‌شود. نیمی از مواقع، مقصر، یک noindex فراموش‌شده است که از زمان توسعه باقی مانده است.
ایندکس شدن صفحات چه چیزی را بررسی میکند؟
این ابزار دو چیز را با هم ترکیب میکند: یک واقعیت (اینکه آیا صفحه در حال حاضر در Google وجود دارد یا خیر) و یک تشخیص (اینکه آیا اساساً می‌تواند به آنجا برسد یا خیر).
| معاینه | او به چه چیزی نگاه میکند؟ | چرا این کار ضروری است؟ |
|---|---|---|
| در دسترس بودن در فهرست | یک سایت واقعی: جستجوی این URL در Google | پاسخ به سوال اصلی: آیا Google صفحه را می‌بیند؟ |
| متا رباتها | تگ <meta name="robots" content="noindex"> در کد | ممنوعیت مستقیم فهرست‌بندی، رایج‌ترین دلیل است |
| برچسب ربات‌های ایکس | همان ممنوعیت، اما در هدر پاسخ HTTP | در کد صفحه قابل مشاهده نیست و به راحتی می‌توان آن را نادیده گرفت. |
| رباتها.txt | آیا آدرس توسط قانون Disallow مسدود شده است؟ | یک ربات نمی‌تواند صفحه‌ای را بخزد و آن را بخواند. |
| متعارف | لینک کانونیکال به چه آدرسی اشاره میکند؟ | متعارف به URL دیگر - درخواست ایندکس کردن صفحه دیگری |
| نقشه سایت.xml | آیا آدرس در نقشه سایت وجود دارد؟ | بدون نقشه سایت و لینک‌ها، Google ممکن است مدت زیادی از وجود صفحه مطلع نشود. |
| حکم | خلاصه به همراه دلایل و راهکارها | دقیقاً چه چیزی نیاز به تعمیر دارد؟ |
چگونه بررسی کنیم که آیا یک صفحه در Google ایندکس شده است یا خیر؟
- بررسیکنندهی ایندکس شدن صفحات باز.
- آدرس کامل صفحه، شامل پروتکل و دقیقاً همانطور که در مرورگر نمایش داده می‌شود را جایگذاری کنید:
https://example.com/new-page. - روی «بررسی ایندکس شدن» کلیک کنید و منتظر بمانید تا Google عوامل را جستجو و تجزیه و تحلیل کند.
- حکم را بخوانید: «در فهرست» یا «در فهرست نیست» و لیست بلوک‌های یافت‌شده را بخوانید.
- علت را برطرف کنید و بعد از چند روز دوباره بررسی کنید.
صفحه ابزار به این شکل است: یک فیلد آدرس، یک شمارنده از چک‌های رایگان امروز و فهرستی از آنچه که مورد تجزیه و تحلیل قرار می‌گیرد.
حکم نمونه: صفحه https://example.com/new-page از ایندکس شدن مسدود شده است زیرا کد حاوی یک متا نوایندکس است و آدرس اینترنتی متعارف به آدرس اینترنتی متفاوتی اشاره میکند. دو دلیل همزمان، و هر دو در قالب وجود دارند.
چرا صفحه ایندکس نمی‌شود و ابتدا چه چیزی را باید اصلاح کنم؟
دلایل را به این ترتیب در نظر بگیرید - از ممنوعیت‌های مستقیم گرفته تا موارد "نرم".
- Noindex را در متا رباتها یا X-Robots-Tag حذف کنید. یک موقعیت رایج: در طول توسعه، گزینه "پنهان کردن سایت از موتورهای جستجو" در CMS فعال شده و سپس فراموش شده که غیرفعال شود. برای X-Robots-Tag، تنظیمات سرور، CDN یا افزونه سئو خود را بررسی کنید.
- غیرفعال کردن در robots.txt. یک قانون مانند
Disallow: /blog/کل بخش را می‌بندد. یک نکته ظریف: اگر صفحه‌ای در robots.txt بسته شود، Google نمی‌تواند "noindex" را روی آن بخواند. بنابراین، برای حذف آن از ایندکس، به یک robots.txt باز و "noindex" نیاز دارید و برای ایندکس کردن آن، کافیست برچسب "Disallow" را حذف کنید. - متعارف به آدرس دیگری. اگر صفحه منحصر به فرد باشد، متعارف باید به خود صفحه اشاره کند. خطا اغلب در الگو قرار دارد: همه محصولات با متعارف به دسته، همه مقالات به صفحه اصلی وبلاگ.
- این صفحه در نقشه سایت نیست و هیچ لینکی ندارد. این یک صفحه یتیم است که Google از آن خبر ندارد. آن را به sitemap.xml خود اضافه کنید و لینک‌هایی از صفحات ایندکس شده قبلی - از منو، دسته‌ها و مقالات مرتبط - به آن اضافه کنید.
- همه چیز باز است، اما صفحه آنجا نیست. این یعنی Google آن را دیده و تصمیم گرفته آن را لحاظ نکند—معمولاً به دلیل محتوای ضعیف یا تکراری. فقط بهبود خود صفحه می‌تواند کمک کند.
چگونه خودتان به سرعت یک بلوک پیدا کنید. صفحه را باز کنید، Ctrl+U را فشار دهید و در کد به دنبال noindex و canonical بگردید. سربرگ X-Robots-Tag در ابزارهای توسعه‌دهنده مرورگر (زبانه شبکه → پاسخ سند → سربرگ‌ها) قابل مشاهده است. robots.txt را در ваш-домен/robots.txt باز کنید - قوانین Disallow را که با ابتدای آدرس صفحه مطابقت دارند، پیدا کنید. این ابزار همه این کارها را برای شما انجام می‌دهد، اما دانستن اینکه کجا را جستجو کنید مفید است: تأیید اینکه ویرایش واقعاً اعمال شده است را آسان‌تر میکند.
یک مورد خاص، صفحاتی با پارامترها و فیلترهایی مانند ?sort=price ، ?color=red ، تگ‌های UTM هستند. این صفحات معمولاً نیازی به ایندکس شدن ندارند؛ بهتر است زمانی که لینک‌های متعارف به نسخه اصلی هستند، این اتفاق بیفتد. اگر چنین URL را بررسی کردید و عبارت «ایندکس نشده» را در لینک متعارف به دسته مشاهده کردید، همه چیز طبق برنامه پیش می‌رود.
پس از حل مشکلات فنی، میتوانید روند کار را سرعت بخشید: آدرس اینترنتی سایت تأیید شده خود را برای ایندکس مجدد با استفاده از ابزار بازرسی URL در کنسول جستجو ارسال کنید. با این حال، این یک درخواست است، نه تضمینی: صفحات جدید میتوانند چندین روز تا چند هفته طول بکشند تا ایندکس شوند.
مقایسه: بررسی ایندکس صفحه PromoPilot و جایگزین‌های آن
| ابزار | چی رایگانه؟ | محدودیت‌ها | برای چه کسانی مناسب است؟ |
|---|---|---|---|
| PromoPilot - بررسی کننده ایندکس صفحات | واقعیت‌های ایندکس شدن + تشخیص: noindex، X-Robots-Tag، robots.txt، canonical، sitemap | سیگنال‌های عمومی، محدودیت بررسی روزانه | هر صفحه‌ای، از جمله صفحه شخص دیگری، بدون دسترسی به کنسول جستجو |
| کنسول جستجو - بررسی کننده URL | وضعیت دقیق ایندکس شدن، درخواست ایندکس مجدد | فقط برای سایت تأیید شده شما | برای صاحبان وب‌سایت - منبع اصلی حقیقت |
| سایت دستی: پرس و جو در Google | نگاهی سریع به نتایج | بدون تشخیص علل، نتیجه ممکن است نادرست باشد | اولین تخمین |
| عنکبوت سئوی Screaming Frog | قابلیت ایندکس شدن صفحه در حین خزش | ممنوعیت‌ها را نشان می‌دهد اما حضور Google را نشان نمی‌دهد؛ نصب لازم است | بررسی مسدود کردن سایت‌های انبوه |
نتیجه‌گیری: کنسول جستجو معیار وب‌سایت شماست، اما شما به دسترسی به آن نیاز دارید. بررسی آنلاین زمانی که دسترسی در دسترس نیست (مثلاً در سایت مشتری، یک پروژه قدیمی یا صفحه رقیب) یا زمانی که نیاز دارید به سرعت تشخیص دهید که آیا یک مشکل فنی وجود دارد یا خیر، راحت است.
PromoPilot 87 ابزار سئو رایگان دیگر دارد. اگر در مورد کل وب‌سایت خود سوال دارید، نه فقط یک صفحه - اینکه دامنه در چند صفحه در Google رتبه دارد و در چه درصدی از نقشه سایت قرار دارد - یک بررسی جداگانه برای ایندکس شدن سایت وجود دارد که در مقاله بعدی این بخش به آن پرداخته شده است. آنالایزر robots.txt به شما کمک میکند تا قوانین robots.txt را درک کنید.
محدودیت‌های بررسی ایندکس شدن صفحه؟
این ابزار از سیگنال‌های عمومی استفاده میکند و جایگزین داده‌های ابزار بازرسی URL در کنسول جستجو نمی‌شود: فقط صاحب سایت می‌تواند وضعیت دقیق و دلایل محرومیت Google را مشاهده کند.
مسدود کردن موقت رباتها - محافظت در برابر DDoS، CAPTCHA و محدود کردن سرعت - می‌تواند بر دقت تأثیر بگذارد: اگر ابزار نتواند صفحه‌ای را باز کند، ربات‌های متا و نتایج متعارف ناقص خواهند بود. همچنین، ممکن است یک صفحه جدید از قبل ایندکس شده باشد، اما یک پرس‌وجوی سایت بلافاصله آن را نشان ندهد. اگر حکم «ایندکس نشده» باشد و هیچ مسدودی وجود نداشته باشد، چند روز دیگر دوباره بررسی کنید.
در نهایت، این ابزار صفحه را از بیرون بررسی میکند و نمی‌داند Google چگونه کیفیت آن را ارزیابی کرده است. وضعیت «خزش یافته، اما هنوز ایندکس نشده» فقط در کنسول جستجو قابل مشاهده است - و این موضوع نه توسط کد، بلکه توسط محتوای صفحه مورد بررسی قرار می‌گیرد.
چه زمانی یک ابزار رایگان کافی نیست؟
یک صفحه با noindex فراموش شده پنج دقیقه کار می‌برد. اما اوضاع می‌تواند پیچیده‌تر باشد. اگر موارد زیر را دارید، به یک متخصص نیاز دارید:
- ده‌ها صفحه ایندکس نشده‌اند و هیچ ممنوعیت آشکاری وجود ندارد؛
- canonical، noindex یا robots.txt توسط یک افزونه یا قالب تولید می‌شوند و پس از ویرایش «برگردانده» می‌شوند؛
- پس از جابجایی، صفحات از فهرست حذف شدند و صفحات جدید نمایش داده نمی‌شوند؛
- صفحات موجود در فهرست، اما Google آدرس دیگری را به عنوان آدرس متعارف انتخاب میکند.
برای وب‌سایت شما چه کاری می‌توانم انجام دهم؟
اسم من والری دانیوک است، من یک توسعه‌دهنده و متخصص سئو با ۱۲ سال سابقه و بیش از ۲۰۰ مشتری هستم. مشکلات ایندکس شدن یکی از رایج‌ترین دلایلی است که افراد به من مراجعه می‌کنند.
سئو و تبلیغات
- ممیزی سئو آماده: من متوجه می‌شوم که چرا صفحات ایندکس نمی‌شوند و قالب‌ها، robots.txt، canonical و نقشه سایت را اصلاح می‌کنم.
- محتوایی که بلافاصله ایندکس می‌شود: یک وبلاگ خودکار که توسط عوامل هوش مصنوعی پشتیبانی می‌شود، مقالاتی را با نشانه‌گذاری و نقشه‌های سایت صحیح منتشر میکند.
- فهرست‌بندی نسخه‌های زبان - در تحلیلی از چگونگی ایجاد یک سایت چندزبانه بدون مترجم.
وب‌سایت‌ها و فروشگاه‌های آنلاین
- یک صفحه فرود برای محصول جدیدی که یک شبه عرضه شده است - از همان دقیقه اول برای ایندکس شدن باز است.
- در عرض چند دقیقه در 1001site یک وب‌سایت به سبک وب‌سایت مورد علاقه خود داشته باشید: رندر سرور، نقشه سایت و نشانه‌گذاری به طور خودکار پیکربندی می‌شوند.
- انتقال فروشگاه از Instagram به وب‌سایت - با کارت‌هایی که توسط Google پیدا شدهاند.
CRM، حسابداری و اتوماسیون
آدرس صفحه ای که در Google ثبت نشده را در Telegram برای من ارسال کنید - به شما می گویم علت را کجا جستجو کنید.
نتیجه
- بررسی ایندکس شدن یک صفحه به دو سوال پاسخ می‌دهد: اینکه آیا URL در Google وجود دارد یا خیر و چه چیزی مانع از رسیدن آن به آنجا می‌شود.
- دلایل بر اساس فراوانی: noindex (در کد یا هدر)، robots.txt، canonical برای آدرس شخص دیگری، صفحه orphan بدون نقشه سایت و لینک‌ها.
- پس از رفع آن، URL را برای ایندکس مجدد در کنسول جستجو ارسال کنید و چند روز دیگر دوباره بررسی کنید.
- اگر ده‌ها صفحه ایندکس نشده باشند، بررسی مجدد لازم است و گاهی اوقات بازسازی یک سایت قدیمی با قالب‌های پیچیده در 1001site آسان‌تر است.
صفحه‌ای که از نتایج جستجو «ناپدید» شده را بررسی کنید - حکمی به همراه دلیل آن در کمتر از یک دقیقه ظاهر خواهد شد.
منابع
- صفحه ابزار «بررسی ایندکس شدن صفحه» در PromoPilot - فهرست بررسی‌ها، مثال‌ها و محدودیت‌ها.
- راهنمای کنسول جستجوی Google - ابزار بررسی URL.
- مرکز جستجوی Google - مسدود کردن ایندکس با noindex.
- مرکز جستجوی Google - URL های متعارف و صفحات تکراری.
