התשובה הקצרה: כדי לבדוק robots.txt באינטרנט, הזינו את הדומיין שלכם בכלי הניתוח robots.txt של PromoPilot ולחצו על "ניתוח". הכלי יוריד אוטומטית את הקובץ, ינתח את כל ההנחיות (הרשאה, אי-הרשאה, עיכוב סריקה, מפת אתר), יציג בלוקים של סוכני משתמש ואת הרובוטים אליהם הם מכוונים, ימצא שגיאות תחביר וכללים מסוכנים, יבדוק את הזמינות של כתובות URL קריטיות ויספק המלצות. זה בחינם ואינו דורש הרשמה.
השורה היקרה ביותר שנתקלתי בה אי פעם בקובץ robots.txt של מישהו אחר הייתה " Disallow: / ", שארית מהפיתוח. האתר הושק, הפרסום מומן, אך התנועה האורגנית נותרה אפס במשך שלושה שבועות מכיוון שרובוטים נחסמו מלבקר בכל הדפים.
מה בודק ניתוח robots.txt?
Robots.txt הוא קובץ טקסט קצר בשורש של אתר אינטרנט, אך קל לטעות: קו נטוי נוסף משנה את משמעות הכלל. הכלי קורא את הקובץ באותו אופן שבו רובוטי חיפוש עושים זאת.
| על מה הכלי בוחן? | דוּגמָה | למה זה בשביל קידום אתרים (SEO)? |
|---|---|---|
| כל ההנחיות | Allow, Disallow, Crawl-delay, Sitemap | ברור בדיוק מה מותר ומה אסור. |
| בלוקים של סוכן משתמש | User-agent: *, User-agent: Google bot | כללים עבור רובוט ספציפי עוקפים כללים כלליים |
| קישורי מפת אתר | Sitemap: https://example.com/sitemap.xml | הרובוט מוצא את מפת האתר מהר יותר |
| שגיאות תחביר | Dissalow, כלל ללא חסימת סוכן משתמש | שורה לא חוקית פשוט מתעלמת. |
| כללים מסוכנים | Disallow: /, private /catalog/, CSS ו-JS | דפים חשובים חסרים בסריקה |
| זמינות של כתובות URL קריטיות | דף הבית, מדורים עיקריים | אימות שדפי מפתח פתוחים |
דוגמה לתוצאה מתיאור הכלי: "נמצאו 2 כללי Disallow שעלולים להיות מסוכנים והוראת Sitemap אחת חסרה." אלו הם סוגי הממצאים הראויים לתשומת לב מיוחדת.
איך לבדוק robots.txt באינטרנט?
- פתח את הכלי. ניתוח Robots.txt פועל בדפדפן.
- הזן את הדומיין:
https://example.com. הקובץ יורד אוטומטית אל/robots.txt. - לחץ על "נתח".
- סקור את רשימת ההנחיות עבור בלוקי סוכן משתמש.
- ניתוח טעויות וכללים מסוכנים - זה הדבר העיקרי בדוח.
- תקן את הקובץ בשרת או בהגדרות ה-CMS והרץ את הבדיקה שוב.
דף כלי: שדה כתובת, כפתור "ניתוח" ותיאור - מה נבדק, תרחישים ומגבלות.
בדקו את קובץ robots.txt בשני מצבים חיוניים: לפני השקת גרסה חדשה של האתר שלכם ואחרי כל מעבר. זה הזמן שבו מגבלות הבדיקה צפויות להוביל לגרסת הייצור. כדאי גם לבדוק את קובץ robots.txt של המתחרים שלכם: החלקים המוגבלים מראים אילו דפים הם מחשיבים כדפי שירות וכיצד הספרייה שלהם בנויה.
כיצד לקרוא את התוצאה ומה לתקן קודם?
עברו מכללים המכסים את כל האתר לקוסמטיקה.
Disallow: /בבלוקUser-agent: *. האתר כולו סגור. אם זו אינה גרסת ניסיון, הסר שורה זו באופן מיידי.- מדורים חשובים סגורים.
Disallow: /catalogסוגר לא רק את הספרייה אלא גם כל דבר שמתחיל בתווים אלה, כגון/catalog-sale/. הכללים מבוססים על תחילת הנתיב, ורישיות (case) היא חשובה. - CSS, JS ותמונות חסומים. כללים כמו
Disallow: /wp-content/מונעים Google להציג את הדף כפי שאדם היה רואה. הסורק אמור לטעון סגנונות וסקריפטים. - אין שורת Sitemap או שהיא מובילה ל-404. אנא ספק את כתובת Sitemap המלאה יחד עם הפרוטוקול.
- תחביר. שגיאות כתיב בשמות הנחיות, כללים מחוץ לבלוק User-Agent ושורות ריקות בתוך הבלוק - רובוטים מתעלמים משורות לא חוקיות, והכלל נכשל בשקט.
- הנחיות Google לא תומכת בהן. Google מתעלם מ-
Crawl-delay, Google לא תומכתNoindexבקובץ robots.txt. אם אתם מסתמכים על אלה, כלל זה אינו חל.
דוגמה לקובץ תקין עבור אתר WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/
Sitemap: https://example.com/sitemap.xml
לוח הניהול, החיפוש הפנימי ודפי כלי השירות של החנות סגורים, מטפל ה-AJAX (שבלעדיו חלקים מהאתר נשברים) מופעל, ומפת האתר צוינה. כל השאר מופעל כברירת מחדל.
כיצד ניתן לדעת אם כתובת URL ספציפית פתוחה אם יש מספר כללים? Google מפעילה את הכלל הספציפי ביותר - זה עם הנתיב הארוך ביותר. אם קובץ מכיל Disallow: /blog/ וגם Allow: /blog/seo/, אז הדף /blog/seo/proverka/ פתוח, ו- /blog/news/ סגור. אם הנתיבים באותו אורך, כלל allow מנצח. הכוכבית * מייצגת כל רצף תווים, ו- $ מסמן את סוף כתובת ה-URL: Disallow: /*.pdf$ סוגרת את כל קבצי ה-PDF, אך לא את הדף /pdf-guide/.
ממצא נפוץ נוסף הוא מספר בלוקים עבור אותו רובוט, או בלוק משותף שחופף לבלוק נפרד. אם קובץ מכיל User-agent: Google bot, Google bot קורא רק בלוק זה ומתעלם לחלוטין מהכללים ב- User-agent: *. לכן, כל ההגבלות הדרושות יצטרכו להיות משוכפלות בבלוק שלו.
נושא נפרד לשנת 2026 הוא סורקי בינה מלאכותית. חסימת User-agent: GPTBot עם Disallow: / מונעת מ-OpenAI לסרוק את האתר. זו החלטה שלכם, אבל קחו בחשבון: אם אתר סגור לבוטים של בינה מלאכותית, קשה יותר לעוזרים להמליץ עליו.
השוואה: ניתוח robots.txt של PromoPilot וחלופותיו
| כְּלִי | מה בחינם? | הגבלות | למי זה מתאים? |
|---|---|---|---|
| PromoPilot - ניתוח Robots.txt | ניתוח הנחיות ובלוקים, שגיאות, כללים מסוכנים, המלצות | רק robots.txt, ללא תגיות מטא של דף | בדוק במהירות את האתר שלך או של מישהו אחר |
| דוח robots.txt Google סקור קונסול | כיצד Google קיבלה את הקובץ שלך, מתי ועם אילו שגיאות | רק עבור האתר המאומת שלך | לבעלי אתרים |
| עכביש SEO בצפרדע הצורחת | סריקת אתר באמצעות robots.txt ובדיקת הכללים שלך | יש להתקין את התוכנית | ביקורת טכנית |
| בדיקה ידנית בדפדפן | פתח את /robots.txt וקרא | בלי לנתח שגיאות ורמזים | אם לקובץ יש שלוש שורות |
סיכום: Search Console מראה כיצד Google רואה את הקובץ, אך רק עבור האתר שלך. ניתוח מקוון עובד עם כל דומיין ומסביר מה לא בסדר.
ניתוח Robots.txt הוא אחד מ -87 כלי ה-SEO החינמיים של PromoPilot. אם אין לכם קובץ robots.txt או שקל יותר לכתוב אותו מחדש מאפס, עיינו במאמר הרלוונטי בקטע מחולל robots.txt - שם תמצאו בונה ויזואלי ליצירת הקובץ. וכדי לבדוק את מפת האתר עצמה, ישנו כלי ניתוח sitemap.xml נפרד.
מגבלות: מה בדיקת robots.txt לא תחליף?
כלי זה בודק רק את קובץ robots.txt ואינו מחליף ביקורת מטא תגיות של רובוטים ברמת הדף. דף עשוי להיות פתוח ב- robots.txt אך חסום על ידי תגית מטא noindex או כותרת X-Robots-Tag. יש לזהות הגבלות כאלה על ידי ביצוע בדיקת דף או ביקורת מלאה.
מנועי חיפוש שונים מפרשים הנחיות לא סטנדרטיות באופן שונה. מה שמנוע חיפוש אחד תומך בו, אחר יתעלם בשקט. הסתמכו על ההנחיות הסטנדרטיות User-agent, Allow, Disallow ו- Sitemap - כל מנועי החיפוש העיקריים מבינים אותן.
וזכרו: robots.txt אינו קובץ אבטחה. הוא מבקש בנימוס מרובוטים לא להיכנס, אך אינו חוסם גישה. פאנל הניהול והנתונים האישיים מוגנים בסיסמה, לא בשורת "Disallow". יתר על כן, robots.txt פתוח לכולם: על ידי רישום מדורים "סודיים" בו, אתם חושפים אותם לאנשים סקרנים.
מתי כלי חינמי לא מספיק?
מציאת כלל מסוכן היא חצי מהמשימה. להחליט אילו מקטעים לסגור היא כבר אסטרטגיה. אתם זקוקים למומחה אם:
- בחנות יש אלפי עמודים של פילטרים ואפשרויות מיון, ולא ברור איזה מהם לסגור;
- האתר נפל מתוצאות החיפוש, אבל קובץ robots.txt "נראה בסדר";
- robots.txt נוצר על ידי מערכת ניהול התוכן או התוסף, והעריכות שלך מוחלפות;
- עלינו להחליט האם להפעיל סורקי בינה מלאכותית וכיצד זה ישפיע על הנראות בעוזרים.
מה אני יכול לעשות עבור אתר האינטרנט שלך?
שמי ולרי דניוק, ואני מפתח ומומחה קידום אתרים (SEO) עם 12 שנות ניסיון ומעל 200 לקוחות. קובצי Robots.txt, תגיות מטא ומפות אתר הם הדברים הראשונים שאני בודק בכל ביקורת.
קידום אתרים (SEO) וקידום
- ביקורת SEO מוכנה לשימוש: robots.txt, noindex, canonical, sitemap ואינדוקס אמיתי - עם תיקונים.
- אוטובלוג עם סוכני בינה מלאכותית הוא צוות עריכה ללא בני אדם שמפרסם מאמרים ופותח אותם מיד לאינדוקס.
- GEO: כיצד מלון הוצג ב- ChatGPT, Gemini ו-Perplexity - מקרה בוחן על נראות בתגובות של עוזרי בינה מלאכותית.
אתרי אינטרנט וחנויות מקוונות
- אתר WordPress עם עוזר בינה מלאכותית תמורת 299 אירו - עם קובץ robots.txt תקין ומפת אתר מהיום הראשון.
- אתר אינטרנט ב 1001site: מפת אתר, נתונים מובנים ואינדוקס של בוט בינה מלאכותית מוגדרים באופן אוטומטי.
CRM, חשבונאות ואוטומציה
- ERP, אתר אינטרנט ובוט Telegram המופעל על ידי בינה מלאכותית לפירוק רכב תוך 6 ימים.
- פלטפורמת דרופשיפינג עם חנויות שותפות - כאשר כל חנות דורשת קובץ robots.txt תקף משלה.
כל התיקים נמצאים בתיק העבודות. שלחו לי את הכתובת שלכם Telegram, ואקרא את קובץ ה-robots.txt שלכם ואעדכן אתכם אם סגרתי מדורים מיותרים.
תוֹצָאָה
- בדיקת קובץ robots.txt באינטרנט תוך דקה בלבד מגלה כללים שמסתירים אתר או חלקים ממנו מרובוטים.
- תיקון לפי הסדר:
Disallow: /→ מדורים סגורים → CSS ו-JS → מפת אתר → תחביר. - האפשרות Disallow אינה מסירה דף מהאינדקס; פעולה זו דורשת
noindexבדף הפתוח. - אם קובץ robots.txt נוצר על ידי מערכת ניהול התוכן (CMS) והעריכות לא נשמרות, קל יותר להפקיד את ההתקנה בידי מומחה או לעבור ל 1001site, שם האינדוקס מוגדר ישירות מהקופסה.
בדוק את הקובץ שלך עכשיו: הרץ ניתוח robots.txt בחינם, ואם אתה מוצא כללים מסוכנים, כתוב לי Telegram.
מקורות
- דף כלי הניתוח robots.txt של PromoPilot - בדיקות, תוצאות לדוגמה ושאלות דף.
- מרכז החיפוש Google - מבוא לקובץ robots.txt והנחיות נתמכות.
- עזרה בקונסולת החיפוש Google - דוח Robots.txt.
