התשובה הקצרה: כדי לבדוק את האינדוקס של דף Google, הדביקו את הכתובת שלו לתוך בודק האינדוקס של דף PromoPilot. הכלי יבצע בקשת site: אמיתית Google ויגיד לכם אם כתובת האתר מאונדקסת. אם לא, הוא יבדוק בעיות כלשהן, כולל תגי meta robots ו-X-Robots, קובץ robots.txt שאינו מורשה, קנוניזציה לכתובת אתר אחרת או sitemap.xml חסר. לאחר מכן הוא יחזיר פסק דין עם הסיבות ותיקונים אפשריים. זה בחינם ואינו דורש הרשמה. להלן כיצד לקרוא את פסק הדין ומה לעשות בנוגע לכל בעיה.
"הדף פורסם לפני חודש, אבל הוא לא מופיע Google " היא השאלה הנפוצה ביותר שאני מקבל. במחצית המקרים, האשם הוא noindex נשכח, שנשאר מהפיתוח.
מה בודקת אינדוקס דפים?
הכלי משלב שני דברים: עובדה (האם הדף נמצא כעת Google) ואבחון (האם הוא יכול להגיע לשם באופן עקרוני).
| בְּדִיקָה | על מה הוא מסתכל? | למה זה הכרחי? |
|---|---|---|
| זמינות באינדקס | אתר אמיתי: שאילתה Google עבור כתובת URL זו | התשובה לשאלה העיקרית: האם Google רואה את הדף? |
| מטא רובוטים | התג <meta name="robots" content="noindex"> בקוד | איסור ישיר על אינדוקס הוא הסיבה הנפוצה ביותר |
| תגית רובוטים אקס | אותו איסור, אבל בכותרת תגובת ה-HTTP | זה לא נראה בקוד הדף וקל לפספס אותו. |
| robots.txt | האם הכתובת חסומה על ידי כלל איסור? | רובוט לא יכול לסרוק דף ולקרוא אותו. |
| קנוני | לאיזו כתובת מפנה הקישור הקנוני? | קנוניקל לכתובת URL אחרת - בקשה לאינדקס דף אחר |
| מפת אתר | האם הכתובת מופיעה במפת האתר? | בלי מפת אתר וקישורים, Google עלול לא לדעת על הדף במשך זמן רב. |
| פְּסַק דִין | סיכום עם סיבות ופתרונות | מה בדיוק צריך לתקן? |
איך בודקים אם דף מסוים מאונדקס Google?
- פתח את בודק אינדוקס הדפים.
- הדבק את כתובת הדף המלאה, כולל הפרוטוקול וכפי שהיא מופיעה בדפדפן:
https://example.com/new-page. - לחצו על "בדיקת אינדוקס" והמתנו Google תבצעו שאילתה וינתחו את הגורמים.
- קרא את פסק הדין: "באינדקס" או "לא באינדקס" ואת רשימת הבלוקים שנמצאו.
- יש לבטל את הגורם ולבדוק שוב לאחר מספר ימים.
כך נראה דף הכלים: שדה כתובת, מונה של צ'קים בחינם להיום, ורשימה של מה שנבדק.
דוגמה לפסק דין: הדף https://example.com/new-page חסום לאינדוקס מכיוון שהקוד מכיל מטא noindex, וכתובת האתר הקנונית מפנה לכתובת אתר אחרת. שתי סיבות בו זמנית, ושתיהן נמצאות בתבנית.
מדוע הדף לא מאונדקס ומה עליי לתקן קודם?
שקלו את הסיבות בסדר זה - מאיסורים ישירים ועד איסורים "רכים".
- Noindex במטא רובוטים או ב-X-Robots-Tag. הסירו אותו. מצב נפוץ: במהלך הפיתוח, האפשרות "הסתר אתר ממנועי חיפוש" הופעלה ב-CMS ואז נשכחה להשבית אותה. עבור ה-X-Robots-Tag, בדקו את הגדרות השרת, CDN או תוסף ה-SEO.
- אסור בקובץ robots.txt. כלל כמו
Disallow: /blog/סוגר את כל הקטע. נקודה עדינה: אם דף סגור בקובץ robots.txt, Google לא יכול לקרוא "noindex" עליו. לכן, כדי להסיר אותו מהאינדקס, צריך robots.txt פתוח ו-"noindex", וכדי לאנדקס אותו, פשוט הסירו את התג "Disallow". - קנוניקל לכתובת אחרת. אם הדף ייחודי, הקנוניקל צריך להפנות לדף עצמו. השגיאה לרוב טמונה בתבנית: כל המוצרים עם קנוניקל לקטגוריה, כל המאמרים לדף הבית של הבלוג.
- הוא לא נמצא במפת האתר ואין בו קישורים. זהו דף יתום Google לא יודעת עליו. הוסף אותו לקובץ sitemap.xml שלך והוסף קישורים מדפים שכבר נמצאים באינדקס - מהתפריט, מהקטגוריות וממאמרים קשורים.
- הכל פתוח, אבל הדף לא שם. משמעות הדבר היא Google ראתה אותו והחליטה לא לכלול אותו - בדרך כלל בגלל תוכן דל או כפול. רק שיפור הדף עצמו יכול לעזור.
כיצד למצוא בלוק במהירות בעצמך. פתח את הדף, לחץ על Ctrl+U, וחפש את noindex ו- canonical בקוד. כותרת ה-X-Robots-Tag גלויה בכלי המפתחים של הדפדפן (כרטיסיית רשת → תגובת מסמך → כותרות). פתח את robots.txt ב- ваш-домен/robots.txt - מצא את כללי ה-Disallow התואמים לתחילת כתובת הדף. הכלי עושה את כל זה בשבילך, אבל לדעת היכן לחפש זה מועיל: זה מקל על אימות שהעריכה אכן יושמה.
מקרה מיוחד הוא דפים עם פרמטרים ומסננים: ?sort=price, ?color=red, תגיות UTM. בדרך כלל אין צורך לאינדקס אותם; עדיף שהקישור הקנוני לגרסה הראשית יפנה לגרסה הראשית. אם תבדוק כתובת URL כזו ותראה "לא מאונדקסת" עם הקישור הקנוני לקטגוריה, הכל עובד כמתוכנן.
לאחר פתרון הבעיות הטכניות, תוכלו להאיץ את התהליך: שלחו את כתובת האתר המאומתת שלכם לצורך אינדוקס מחדש באמצעות כלי בדיקת כתובות URL ב-Search Console. עם זאת, זוהי בקשה, לא ערובה: אינדוקס של דפים חדשים יכול להימשך מספר ימים עד מספר שבועות.
השוואה: בדיקת אינדוקס דפי PromoPilot וחלופות
| כְּלִי | מה בחינם? | הגבלות | למי זה מתאים? |
|---|---|---|---|
| PromoPilot - בודק אינדוקס דפים | עובדת אינדוקס + אבחון: noindex, X-Robots-Tag, robots.txt, קנוניקל, מפת אתר | רמזורים ציבוריים, מגבלת בדיקה יומית | כל דף, כולל של מישהו אחר, ללא גישה ל-Search Console |
| Search Console - בודק כתובות URL | סטטוס אינדוקס מדויק, בקשת אינדוקס מחדש | רק עבור האתר המאומת שלך | עבור בעלי אתרים - מקור האמת העיקרי |
| אתר ידני: שאילתה Google | מבט מהיר על התוצאות | ללא אבחון הגורמים, התוצאה עלולה להיות לא מדויקת | האומדן הראשון ממש |
| עכביש SEO בצפרדע הצורחת | אינדוקסיות של דפים במהלך סריקה | מציג חסימות אך לא נוכחות Google; נדרשת התקנה | בדיקת חסימת אתרים המונית |
סיכום: Search Console הוא אמת המידה לאתר שלך, אך אתה זקוק לגישה אליו. בדיקה מקוונת נוחה כאשר הגישה אינה זמינה (לדוגמה, באתר של לקוח, פרויקט ישן או דף של מתחרה) או כאשר אתה צריך לקבוע במהירות אם יש חסימה טכנית.
ל-PromoPilot יש עוד 87 כלי SEO בחינם. אם אתם שואלים על האתר כולו שלכם, לא רק על עמוד בודד - כמה עמודים הדומיין מדורג Google ובאיזה אחוז ממפת האתר הוא מדורג - יש בדיקת אינדוקסציה נפרדת לאתרים עבור זה, המכוסה במאמר הבא בסעיף זה. מנתח robots.txt עוזר לכם להבין את כללי robots.txt.
מגבלות של בדיקת אינדוקס דפים?
הכלי משתמש באותות ציבוריים ואינו מחליף את הנתונים מכלי בדיקת כתובות ה-URL ב-Search Console: רק בעל האתר יכול לראות את הסטטוס המדויק והסיבות להדרה Google.
חסימות בוטים זמניות - הגנה מפני DDoS, CAPTCHA והגבלת קצב - יכולות להשפיע על הדיוק: אם הכלי לא מצליח לפתוח דף, המטא-רובוטים והתוצאות הקנוניות יהיו שלמים. כמו כן, דף עדכני עשוי להיות מאונדקס, אך שאילתת site: לא מציגה אותו באופן מיידי. אם התוצאה היא "לא מאונדקס" ואין חסימות, בדקו שוב בעוד מספר ימים.
לבסוף, הכלי בודק את הדף מבחוץ ואינו יודע כיצד Google העריכה את איכותו. הסטטוס "נסרק, אך עדיין לא אונדקס" גלוי רק ב-Search Console - והוא מטופל לא על ידי הקוד, אלא על ידי תוכן הדף.
מתי כלי חינמי לא מספיק?
עמוד אחד עם noindex שנשכח דורש חמש דקות עבודה. אבל הדברים יכולים להיות מורכבים יותר. אתם זקוקים למומחה אם:
- עשרות עמודים אינם מאונדקסים, ואין בהם איסורים ברורים;
- קבצי canonical, noindex או robots.txt נוצרים על ידי תוסף או תבנית ו"מוחזרים" לאחר עריכה;
- לאחר המעבר, הדפים הוסרו מהאינדקס וחדשים לא מופיעים;
- דפים באינדקס, אך Google בוחרת כתובת אחרת ככתובת קנונית.
מה אני יכול לעשות עבור אתר האינטרנט שלך?
שמי ולרי דניוק, אני מפתח ומומחה קידום אתרים (SEO) עם 12 שנות ניסיון ויותר מ-200 לקוחות. בעיות אינדוקס הן אחת הסיבות הנפוצות ביותר שאנשים פונים אליי.
קידום אתרים (SEO) וקידום
- ביקורת SEO Turnkey: אני מגלה מדוע דפים אינם מאונדקסים ומתקן תבניות, robots.txt, קנוניקל ומפת אתר.
- תוכן שמאונדקס באופן מיידי: בלוג אוטומטי המופעל על ידי סוכני בינה מלאכותית מפרסם מאמרים עם סימון וקובצי אתר נכונים.
- אינדוקס גרסאות שפה - בניתוח כיצד ליצור אתר רב לשוני ללא מתרגם.
אתרי אינטרנט וחנויות מקוונות
- דף נחיתה למוצר חדש שהושק בן לילה - פתוח לאינדוקס מהרגע הראשון.
- צור אתר אינטרנט בסגנון האתר האהוב עליך תוך דקות ב 1001site: עיבוד השרת, מפת האתר והעיצוב מוגדרים באופן אוטומטי.
- העברת חנות Instagram לאתר אינטרנט – עם כרטיסים שנמצאו על ידי Google.
CRM, חשבונאות ואוטומציה
שלח לי את הכתובת של דף שלא מופיע Google Telegram - אני אגיד לך איפה לחפש את הסיבה.
תוֹצָאָה
- בדיקת האינדקסציה של דף עונה על שתי שאלות: האם כתובת האתר נמצאת Google ומה מונע ממנה להגיע לשם.
- סיבות לפי תדירות: noindex (בקוד או בכותרת), robots.txt, קנוני לכתובת של מישהו אחר, דף יתום ללא מפת אתר וקישורים.
- לאחר תיקון הבעיה, שלח את כתובת ה-URL לאינדקס מחדש ב-Search Console ובדוק שוב בעוד מספר ימים.
- אם עשרות עמודים אינם מאונדקסים, יש צורך בביקורת, ואתר ישן עם תבניות מסובכות לפעמים קל יותר לבנות מחדש ב 1001site.
בדוק את הדף ש"נעלם" מתוצאות החיפוש - פסק דין עם הסיבה יופיע תוך פחות מדקה.
מקורות
- דף הכלי "בדיקת אינדוקס דפים" של PromoPilot - רשימת בדיקות, דוגמאות ומגבלות.
- עזרה ב- Google Search Console - כלי לבדיקת כתובות URL.
- מרכז החיפוש Google - אינדוקס בלוקים עם noindex.
- מרכז החיפוש Google - כתובות URL קנוניות ודפים כפולים.
