مولد ملف robots.txt عبر الإنترنت: كيفية إنشاء ملف صحيح في 5 دقائق بدون أخطاء

باختصار: لإنشاء ملف robots.txt عبر الإنترنت، افتح أداة إنشاء ملفات robots.txt من PromoPilot ، واختر إعدادًا مسبقًا (مخصص، السماح للجميع، رفض الجميع، WordPress ، Laravel، أو Next.js)، ثم أدخل مسارات "رفض" و"السماح"، وأدخل عنوان الموقع الإلكتروني في سطر خريطة الموقع، ويمكنك اختياريًا تحديد "تأخير الزحف" أو "حظر برامج الزحف الذكية". سيظهر الملف المكتمل على اليمين، ويمكنك نسخه أو تنزيله. الخدمة مجانية ولا تتطلب التسجيل.

أقوم بكتابة ملف robots.txt لكل موقع ويب جديد، وأعلم مدى سهولة الوقوع في الأخطاء يدويًا: مسافة زائدة، أو شرطة مائلة منسية، أو قاعدة خارج نطاق كتلة. يُزيل مُنشئ ملف robots.txt هذه المشكلة، إذ يُركز انتباهك على ما يجب إغلاقه، وليس على قواعد الكتابة. سنشرح فيما يلي كيفية استخدامه، وما يجب إغلاقه، ومكان حفظ الملف النهائي.

ما وظيفة مولد ملف robots.txt؟

المُنشئ عبارة عن نموذج وليس محرر نصوص. تقوم بتحديد الإعدادات، وتقوم الأداة بتجميعها في ملف صالح وعرضه في معاينة مباشرة.

من المهم فهم هذا القيد: يقوم المُولِّد بإنشاء ملف، لكنه لا يتحقق من الملفات الموجودة. إذا كان لديك ملف robots.txt بالفعل وترغب في العثور على أخطاء فيه، فستحتاج إلى تحليل ملف robots.txt نفسه، وهذا ما ستتناوله المقالة في القسم التالي.

كيفية إنشاء ملف robots.txt عبر الإنترنت؟

1. افتح برنامج إنشاء ملف robots.txt.
2. اختر إعدادًا مسبقًا لمحركك. إذا لم يكن محركك مدرجًا، فاختر "مخصص".
3. أدخل عنوان الموقع الإلكتروني — https://example.com. سيؤدي هذا إلى إنشاء سطر Sitemap.
4. أضف مسارات الحظر ، مسار واحد لكل سطر: /admin/ ، /tmp/ ، /search/.
5. إذا لزم الأمر، أضف استثناءات السماح داخل المجلدات المقيدة، مثل /uploads/images/.
6. حدد المربعات التالية: خريطة الموقع، تأخير الزحف، حظر برامج الزحف التي تعمل بالذكاء الاصطناعي.
7. انسخ الملف أو قم بتنزيله ثم قم بتحميله إلى جذر الموقع.

توجد الإعدادات على الجانب الأيسر من الصفحة، وعلى الجانب الأيمن توجد معاينة مباشرة للملف مع زري "نسخ" و "تنزيل robots.txt".

يجب أن يكون الملف موجودًا في جذر النطاق فقط: https://example.com/robots.txt. لن تجده برامج الزحف في المجلد /blog/robots.txt أو في نطاق فرعي آخر، حيث أن لكل نطاق فرعي ملف robots.txt خاص به.

يعتمد مكان تحميل الملف الذي تم تنزيله تحديداً على النظام الأساسي:

• الاستضافة العادية - من خلال مدير الملفات الخاص باللوحة أو FTP إلى المجلد الذي توجد فيه الصفحة الرئيسية (غالبًا public_html أو www).
• WordPress ، إذا لم يكن هناك ملف فعلي، يقوم النظام بإنشاء ملف robots.txt افتراضي. يمكن استبدال الملف برفعه إلى المجلد الرئيسي؛ أما الخيار الثاني فهو استخدام محرر الملفات في إضافة تحسين محركات البحث.
• Next.js والأطر الأخرى — يتم وضع الملف في المجلد public أو يتم إنشاؤه من كود المشروع حتى لا يضيع أثناء النشر التالي.
• أدوات إنشاء المواقع الإلكترونية - عادةً ما يتم تعديل الملف في إعدادات تحسين محركات البحث بدلاً من تحميله يدويًا.

يجب تسمية الملف robots.txt بأحرف صغيرة وحفظه بتشفير UTF-8 كنص عادي. بعد التنزيل، افتحه في متصفحك: إذا رأيت النص، فهذا يعني أن كل شيء على ما يرام.

ما الذي يجب إغلاقه وما الذي لا يجب إغلاقه في ملف robots.txt؟

المبدأ الأساسي: أغلق أي شيء لا يُضيف قيمة للبحث ويُهدر وقت الروبوت. لا تُغلق أي شيء ضروري لكي يفهم الروبوت محتوى الصفحة.

مغلق عادةً:

• لوحة التحكم والحساب الشخصي: /admin/ ، /wp-admin/ ، /account/ ؛
• سلة التسوق والدفع: /cart/ ، /checkout/ ؛
• البحث الداخلي: /search/ ، /?s= ؛
• الخدمات والمجلدات المؤقتة: /tmp/ ، /cgi-bin/ ؛
• خيارات لا حصر لها من الفلاتر وخيارات الفرز - أمر رائع، فقط إذا كانت هناك صفحات هبوط منفصلة للفلاتر المطلوبة.

لا تغلق أبداً:

• CSS و JavaScript والصور - بدونها، لن ترى Google الصفحة بالطريقة التي يراها بها الإنسان؛
• الكتالوج، والمدونة، وبطاقات المنتجات، وصفحات الهبوط؛
• الصفحات التي تريد إزالتها من الفهرس - لهذا تحتاج إلى noindex ، ويجب أن يكون الروبوت قادرًا على قراءتها.

إليك الملف الذي ستحصل عليه لمتجر WordPress نموذجي مع WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

بخصوص الإعدادات، لا يأخذ Google تأخير الزحف في الحسبان، لذا فعّله فقط إذا كان خادمك يعاني من برامج زحف أخرى. حظر برامج الزحف المدعومة بالذكاء الاصطناعي هو قرار تجاري: إذا كنت ترغب في أن تعرف ChatGPT و Gemini وPerplexity عنك وتوصي بك، فلا تحظر وصولها.

نقطة عملية أخرى هي النسخة التجريبية للموقع. بالنسبة لنسخة الاختبار، استخدم الإعداد المسبق "رفض الكل"، ولكن تأكد من استبدال الملف عند الإطلاق: فغالباً ما يؤدي نسيان " Disallow: / إلى تقليل الزيارات إلى المواقع الجديدة.

مقارنة: مولد PromoPilot وطرق أخرى لإنشاء ملف Robots.txt

الخلاصة: يُعدّ المُولّد أسرع طريقة للحصول على ملف صالح دون الحاجة إلى معرفة قواعد اللغة. كما أن استخدام الإضافة البرمجية ورمز المشروع يُسهّل عملية تعديل الملف بالتزامن مع تعديل الموقع الإلكتروني.

يُعدّ هذا المُولّد أحد أدوات تحسين محركات البحث المجانية الـ 87 التي تُقدّمها PromoPilot. بعد تنزيل الملف، افحصه باستخدام مُحلّل ملف robots.txt، وبالنسبة لسطر خريطة الموقع، استخدم مُولّد ملف sitemap.xml - وقد تمّ شرح كليهما في المقالات المجاورة في هذا القسم.

قيود المولد: ما لا يمكنه فعله من أجلك

لا يعرف المُولِّد بنية موقعك. سيُغلق الإعداد المُسبق WordPress مسارات الخدمة النموذجية، لكنه لن يُخمِّن أن فلاتر متجرك موجودة في /filter/ والبحث الداخلي في /find/. ستحتاج إلى إدخال هذه المسارات بنفسك.

لا يقوم البرنامج بتحميل الملف إلى الخادم أو التحقق من إمكانية الوصول إليه عبر المسار /robots.txt باستخدام رمز الحالة 200. بعد التحميل، افتح العنوان في متصفح أو قم بتحليله باستخدام برنامج متخصص.

ولا يغني هذا عن noindex: فإذا كان الهدف هو إزالة صفحات من نتائج البحث، فإن ملف robots.txt غير مناسب. وأخيرًا، لا يحمي هذا الملف بياناتك: فهو عام، ويمكن لأي شخص قراءة الأقسام التي قمت بتأمينها. أما الأسرار، فتُخفى خلف كلمة مرور.

متى لا تكفي الأداة المجانية؟

يستغرق إنشاء ملف خمس دقائق. أما تحديد ما يجب قفله على موقع يحتوي على آلاف الصفحات فهو عمل شاق. أنت بحاجة إلى متخصص إذا:

• يحتوي المتجر على مئات من تركيبات الفلاتر، وبعضها يولد حركة مرور؛
• الموقع متعدد اللغات، إما على نطاقات فرعية أو مع مجلدات منفصلة للغات؛
• بعد تعديل ملف robots.txt، انخفضت حركة المرور، وليس من الواضح أي قاعدة هي السبب؛
• يجب عليك توحيد ملف robots.txt، والعلامات الوصفية، والروابط الأساسية، وخريطة الموقع في نظام واحد.

ما الذي يمكنني فعله لموقعك الإلكتروني؟

اسمي فاليري دانيوك، أنا مطور برامج ومتخصص في تحسين محركات البحث، لديّ خبرة 12 عامًا وأكثر من 200 عميل. ملف robots.txt مُعدّ بشكل صحيح، وهو جزء أساسي من كل موقع ويب أقوم بإنشائه.

تحسين محركات البحث والترويج

• تدقيق تحسين محركات البحث الجاهز: robots.txt، noindex، canonical، وخريطة الموقع كنظام موحد، وليس مجموعة من القواعد العشوائية.
• مدونة لتحسين محركات البحث مدعومة بالذكاء الاصطناعي تجلب عملاء محتملين بشكل طبيعي.
• موقع ويب متعدد اللغات بدون مترجم - حيث يجب أن يأخذ ملف robots.txt وخريطة الموقع جميع اللغات في الاعتبار.

المواقع الإلكترونية والمتاجر الإلكترونية

• متجر WooCommerce الإلكتروني: أكثر من 40 قالبًا، 299 يورو — مع ملف robots.txt لسلة التسوق والفلاتر وعملية الدفع.
• موقع إلكتروني على 1001site ، حيث يتم إعداد خريطة الموقع والفهرسة تلقائيًا. ما الفرق بين هذا وبين منصة إنشاء مواقع مدفوعة؟ مقارنة بين Tilda وتحليل المواقع الإلكترونية المدعوم بالذكاء الاصطناعي.

إدارة علاقات العملاء والمحاسبة والأتمتة

• نظام محاسبة شهري لمتجر إلكتروني - مشروع لشركة من جمهورية التشيك.
• QuestFlow هو برنامج SaaS لبناء روبوتات Telegram باستخدام الذكاء الاصطناعي.

المزيد في ملف أعمالي. لست متأكدًا مما يجب تغطيته؟ أرسل لي عنوان موقعك الإلكتروني عبر Telegram ، وسأقترح عليك قواعد لهيكلة موقعك.

نتيجة

1. يقوم مولد ملف robots.txt عبر الإنترنت بإنشاء ملف صحيح في خمس دقائق: الإعدادات المسبقة، والمسارات، وخريطة الموقع، والعلامات.
2. أغلق لوحة التحكم، وسلة المحذوفات، والبحث، ومجلدات الخدمة؛ لا تغلق ملفات CSS، أو JS، أو الكتالوج، أو المدونة.
3. لا يقوم ملف robots.txt بإزالة الصفحات من الفهرس - هذا هو الغرض من noindex.
4. إن البنية المعقدة والفلاتر واللغات هي سبب لتوكيل عملية الإعداد إلى متخصص أو بناء موقع على 1001site ، حيث يتم تكوين الفهرسة بشكل افتراضي.

أنشئ ملف robots.txt الخاص بك الآن باستخدام مولد robots.txt المجاني ، وإذا كانت لديك أي أسئلة حول القواعد، فاكتب لي على Telegram.

مصادر

• صفحة أداة إنشاء ملف robots.txt الخاصة بـ PromoPilot — الإعدادات، والإعدادات المسبقة، وأسئلة الصفحة.
• مركز بحث Google - كيفية إنشاء ملف Robots.txt وإرساله.
• توثيق Next.js - ملف بيانات تعريف الروبوتات.