מחולל robots.txt אונליין: כיצד ליצור קובץ נכון תוך 5 דקות ללא שגיאות

תשובה קצרה: כדי ליצור קובץ robots.txt באופן מקוון, פתחו את מחולל robots.txt של PromoPilot, בחרו הגדרה מוגדרת מראש (Custom, Allow all, Deny all, WordPress, Laravel, או Next.js), הזינו את הנתיבים עבור Disallow ו-Allow, הזינו את כתובת האתר עבור שורת מפת האתר, ובאופן אופציונלי סמנו את האפשרות Crawl-delay או block AI crawlers. הקובץ המלא יופיע מימין - תוכלו להעתיק אותו או להוריד אותו. זה בחינם ואינו דורש הרשמה.

אני כותב robots.txt לכל אתר חדש ויודע כמה קל לעשות טעויות ידנית: רווח נוסף, נשכחת קו נטוי, כלל מחוץ לבלוק. בונה robots.txt מבטל את הבעיה הזו - אתה חושב על מה לסגור, לא על התחביר. להלן, נסביר כיצד להשתמש בו, מה לסגור והיכן למקם את הקובץ המוגמר.

מה עושה מחולל robots.txt?

המחולל הוא טופס במקום עורך טקסט. אתם בוחרים את ההגדרות, והכלי מרכיב אותן לקובץ תקין ומציג אותו בתצוגה מקדימה בזמן אמת.

חשוב להבין את המגבלה: המחולל יוצר קובץ, אך אינו בודק קובץ קיים. אם כבר יש לכם קובץ robots.txt ואתם רוצים למצוא בו שגיאות, עליכם לנתח את קובץ ה-robots.txt - המאמר בסעיף הבא מוקדש לכך.

איך ליצור robots.txt באינטרנט?

1. פתח את מחולל robots.txt.
2. בחר הגדרה מוגדרת מראש למנוע שלך. אם המנוע שלך אינו מופיע ברשימה, בחר "מותאם אישית".
3. הזן את כתובת האתר — https://example.com. פעולה זו תיצור שורת Sitemap.
4. הוסף נתיבי Disallow, אחד בכל שורה: /admin/, /tmp/, /search/.
5. במידת הצורך, הוסף את האפשרות "אפשר חריגים בתוך תיקיות מוגבלות", כגון /uploads/images/.
6. סמן את התיבות: מפת אתר, עיכוב סריקה, חסימת סורקי בינה מלאכותית.
7. העתיקו או הורידו את הקובץ והעלו אותו לשורש האתר.

בצד שמאל של הדף נמצאות ההגדרות, ובצד ימין תצוגה מקדימה חיה של הקובץ עם הכפתורים "העתק" ו"הורד robots.txt".

הקובץ חייב להיות ממוקם אך ורק בשורש הדומיין: https://example.com/robots.txt. רובוטים לא ימצאו אותו בתיקייה /blog/robots.txt או בתת-דומיין אחר - לכל תת-דומיין יש קובץ robots.txt משלו.

היכן בדיוק להעלות את הקובץ שהורדת תלוי בפלטפורמה:

• אחסון רגיל - דרך מנהל הקבצים של הפאנל או FTP לתיקייה בה נמצא העמוד הראשי (לרוב public_html או www).
• WordPress — אם אין קובץ פיזי, המנוע מגיש קובץ robots.txt וירטואלי. העלאת הקובץ לקובץ הבסיס מחליפה אותו; האפשרות השנייה היא להשתמש בעורך הקבצים בתוסף ה-SEO.
• Next.js ומסגרות אחרות - הקובץ ממוקם בתיקייה public או נוצר מקוד הפרויקט כדי שלא יאבד במהלך הפריסה הבאה.
• בוני אתרים - הקובץ בדרך כלל נערך בהגדרות ה-SEO ולא מועלה ידנית.

יש לשמור את הקובץ robots.txt באותיות קטנות בקידוד UTF-8 כטקסט רגיל. לאחר ההורדה, פתחו אותו בדפדפן שלכם: אם אתם רואים את הטקסט שלכם, הכל במקום.

מה צריך ומה לא צריך להיות סגור בקובץ robots.txt?

העיקרון המרכזי: לסגור כל דבר שאינו מוסיף ערך לחיפוש ומבזבז את זמנו של הרובוט. אל תסגור שום דבר שחיוני לרובוט כדי להבין את הדף.

בדרך כלל סגור:

• פאנל ניהול וחשבון אישי: /admin/, /wp-admin/, /account/;
• עגלה ותשלום: /cart/, /checkout/;
• חיפוש פנימי: /search/, /?s=;
• תיקיות שירות וזמניות: /tmp/, /cgi-bin/;
• שילובים אינסופיים של פילטרים ואפשרויות מיון - מגניב, רק אם יש דפי נחיתה נפרדים עבור המסננים הנדרשים.

לעולם אל תסגור:

• CSS, JavaScript ותמונות - בלעדיהם, Google לא יראה את הדף כפי שבן אדם יראה;
• קטלוג, בלוג, כרטיסי מוצר ודפי נחיתה;
• דפים שברצונך להסיר מהאינדקס - לשם כך אתה צריך noindex, והרובוט חייב להיות מסוגל לקרוא אותו.

הנה הקובץ שתקבלו עבור חנות WordPress טיפוסית עם WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

לגבי דגלים. Google לא מתחשב בעיכוב סריקה - הפעל אותו רק אם השרת שלך סובל מבוטים אחרים. חסימת סורקי בינה מלאכותית היא החלטה עסקית: אם אתה רוצה ChatGPT, Gemini ו-Perplexity ידעו עליך וימליצו עליך, אל תחסום את הגישה שלהם.

נקודה מעשית נוספת היא גרסת הניסיון של האתר. עבור עותק הטיפוס, השתמשו בהגדרה "דחה הכל", אך הקפידו להחליף את הקובץ עם ההפעלה: Disallow: / שנשכח הוא מה שמפחית לרוב את התנועה לאתרים חדשים.

השוואה: מחולל PromoPilot ודרכים אחרות ליצירת קובץ Robots.txt

סיכום: המחולל הוא הדרך המהירה ביותר לקבל קובץ תקין מבלי לדעת את התחביר. התוסף וקוד הפרויקט נוחים כאשר יש צורך לשנות את הקובץ יחד עם האתר.

מחולל הקובץ הוא אחד מ -87 כלי ה-SEO החינמיים של PromoPilot. לאחר הורדת הקובץ, בדקו אותו באמצעות מנתח robots.txt, ועבור שורת מפת האתר, השתמשו במחולל sitemap.xml - שניהם מכוסים במאמרים הסמוכים בסעיף זה.

מגבלות גנרטור: מה הוא לא יעשה בשבילך

המחולל אינו יודע את מבנה האתר שלך. הגדרת WordPress שתסגור את נתיבי השירות הרגילים, אך היא לא תנחש שהמסננים של החנות שלך נמצאים ב- /filter/ והחיפוש הפנימי ב- /find/. תצטרך להזין את הנתיבים האלה בעצמך.

זה לא מעלה את הקובץ לשרת או בודק שהקובץ נגיש בכתובת /robots.txt עם קוד סטטוס 200. לאחר ההעלאה, פתח את הכתובת בדפדפן או הפעל אותה דרך מנתח.

והוא לא מחליף noindex: אם המטרה היא להסיר דפים מתוצאות החיפוש, robots.txt אינו מתאים. לבסוף, הקובץ אינו מגן על הנתונים שלך: הוא ציבורי, וכל אחד יכול לקרוא אילו מדורים נעלת. סודות מוסתרים מאחורי סיסמה.

מתי כלי חינמי לא מספיק?

יצירת קובץ אורכת חמש דקות. להחליט מה לנעול באתר עם אלפי עמודים היא עבודה רבה. אתם זקוקים למומחה אם:

• לחנות יש מאות שילובי סינון, וחלקם מייצרים תנועה;
• האתר רב-לשוני, על תת-דומיינים או עם תיקיות נפרדות לשפות;
• לאחר עריכת קובץ robots.txt, התנועה ירדה, ולא ברור איזה כלל אשם;
• עליך ליישר את קובץ robots.txt, תגיות מטא, קובץ קנוניקל ומפת אתר למערכת אחת.

מה אני יכול לעשות עבור אתר האינטרנט שלך?

שמי ולרי דניוק, אני מפתח ומומחה קידום אתרים (SEO) עם 12 שנות ניסיון ומעל 200 לקוחות. קובץ robots.txt תקין הוא חלק מכל אתר שאני בונה.

קידום אתרים (SEO) וקידום

• ביקורת SEO Turnkey: robots.txt, noindex, canonical ו-sitemap כמערכת מאוחדת, לא קבוצה של כללים אקראיים.
• בלוג קידום אתרים (SEO) המופעל על ידי בינה מלאכותית שמביא לידים אורגניים.
• אתר אינטרנט רב-לשוני ללא מתרגם - שבו robots.txt ומפת האתר חייבים להתחשב בכל השפות.

אתרי אינטרנט וחנויות מקוונות

• חנות מקוונת WooCommerce: 40+ תבניות, 299 אירו — עם robots.txt לעגלה, פילטרים ותשלום.
• אתר אינטרנט ב 1001site, שבו מפת האתר והאינדוקס מוגדרים באופן אוטומטי. במה זה שונה מבונה אתרים עם דמי מנוי? ניתוח אתרים מבוסס טילדה לעומת בינה מלאכותית.

CRM, חשבונאות ואוטומציה

• מערכת חשבונאות חודשית לחנות מקוונת – פרויקט עבור חברה מצ'כיה.
• QuestFlow הוא בונה SaaS Telegram עם בינה מלאכותית.

עוד בתיק העבודות. לא בטוחים מה לכסות? שלחו לי את כתובת האתר שלכם Telegram – אציע כללים למבנה שלכם.

תוֹצָאָה

1. מחולל robots.txt המקוון יוצר קובץ נכון תוך חמש דקות: קבצים מוגדרים מראש, נתיבים, מפת אתר, דגלים.
2. סגור את לוח הניהול, סל המיחזור, תיקיות החיפוש והשירות; אל תסגור את CSS, JS, את הקטלוג או את הבלוג.
3. robots.txt לא מסיר דפים מהאינדקס - בשביל זה נועד noindex.
4. מבנה מורכב, פילטרים ושפות הם סיבה להפקיד את ההתקנה בידי מומחה או לבנות אתר ב 1001site, שבו האינדוקס מוגדר ישירות מהקופסה.

צרו קובץ robots.txt משלכם עכשיו באמצעות מחולל robots.txt החינמי, ואם יש לכם שאלות לגבי הכללים, כתבו לי Telegram.

מקורות

• דף כלי מחולל robots.txt של PromoPilot - הגדרות, קביעות מוגדרות מראש ושאלות דף.
• מרכז החיפוש Google - כיצד ליצור ולשלוח קובץ Robots.txt.
• תיעוד Next.js - קובץ מטא-דאטה של רובוטים.