অনলাইন robots.txt জেনারেটর: কীভাবে ৫ মিনিটে ত্রুটিমুক্ত একটি সঠিক ফাইল তৈরি করবেন

সংক্ষিপ্ত উত্তর: অনলাইনে একটি robots.txt ফাইল তৈরি করতে, PromoPilot robots.txt জেনারেটরটি খুলুন, একটি প্রিসেট (Custom, Allow all, Deny all, WordPress, Laravel, বা Next.js) নির্বাচন করুন, Disallow এবং Allow-এর জন্য পাথগুলো লিখুন, Sitemap লাইনের জন্য ওয়েবসাইটের ঠিকানা লিখুন, এবং ঐচ্ছিকভাবে Crawl-delay বা block AI crawlers চেক করুন। সম্পূর্ণ ফাইলটি ডানদিকে দেখা যাবে—আপনি এটি কপি বা ডাউনলোড করতে পারেন। এটি বিনামূল্যে এবং এর জন্য কোনো রেজিস্ট্রেশনের প্রয়োজন নেই।

আমি প্রতিটি নতুন ওয়েবসাইটের জন্য robots.txt ফাইল লিখি এবং জানি যে হাতে লিখে ফাইল তৈরি করতে ভুল করা কতটা সহজ: যেমন একটি অতিরিক্ত স্পেস, একটি স্ল্যাশ দিতে ভুলে যাওয়া, বা কোনো ব্লকের বাইরে নিয়ম ব্যবহার করা। robots.txt বিল্ডার এই সমস্যাটি দূর করে দেয়—আপনাকে সিনট্যাক্স নিয়ে ভাবতে হয় না, বরং কী বন্ধ করতে হবে তা নিয়ে ভাবতে হয়। নিচে আমরা ব্যাখ্যা করব কীভাবে এটি ব্যবহার করতে হয়, কী বন্ধ করতে হয় এবং তৈরি হয়ে যাওয়া ফাইলটি কোথায় রাখতে হয়।

robots.txt জেনারেটর কী করে?

জেনারেটরটি একটি টেক্সট এডিটর না হয়ে একটি ফর্ম। আপনি সেটিংস নির্বাচন করলে, টুলটি সেগুলোকে একত্রিত করে একটি বৈধ ফাইল তৈরি করে এবং লাইভ প্রিভিউতে তা প্রদর্শন করে।

সীমাবদ্ধতাটি বোঝা গুরুত্বপূর্ণ: জেনারেটর একটি ফাইল তৈরি করে, কিন্তু এটি বিদ্যমান কোনো ফাইল যাচাই করে না। যদি আপনার কাছে আগে থেকেই একটি robots.txt ফাইল থাকে এবং আপনি সেটির মধ্যে ভুল খুঁজে বের করতে চান, তবে আপনাকে robots.txt ফাইলটি বিশ্লেষণ করতে হবে—পরবর্তী বিভাগের নিবন্ধটি এই বিষয়েই আলোচনা করে।

অনলাইনে robots.txt কীভাবে তৈরি করবেন?

1. robots.txt জেনারেটরটি খুলুন।
2. আপনার ইঞ্জিনের জন্য একটি প্রিসেট নির্বাচন করুন । যদি আপনার ইঞ্জিনটি তালিকায় না থাকে, তবে 'কাস্টম' বেছে নিন।
3. ওয়েবসাইটের ঠিকানাটি লিখুন — https://example.com । এটি একটি Sitemap লাইন তৈরি করবে।
4. প্রতি লাইনে একটি করে অননুমোদিত পাথ যোগ করুন: /admin/, /tmp/, /search/ ।
5. প্রয়োজনে, /uploads/images/ এর মতো সীমাবদ্ধ ফোল্ডারগুলির ভিতরে ব্যতিক্রমের অনুমতি দিন।
6. বক্সগুলোতে টিক দিন: সাইটম্যাপ, ক্রল-বিলম্ব, এআই ক্রলার ব্লক করুন।
7. ফাইলটি কপি বা ডাউনলোড করে সাইটের রুটে আপলোড করুন।

পেজের বাম দিকে সেটিংস এবং ডান দিকে 'কপি' ও 'ডাউনলোড robots.txt' বাটনসহ ফাইলটির একটি লাইভ প্রিভিউ রয়েছে।

ফাইলটি অবশ্যই ডোমেইনের রুটে থাকতে হবে: https://example.com/robots.txt । রোবটরা এটিকে /blog/robots.txt ফোল্ডারে বা অন্য কোনো সাবডোমেইনে খুঁজে পাবে না—প্রতিটি সাবডোমেইনের নিজস্ব robots.txt ফাইল থাকে।

ডাউনলোড করা ফাইলটি ঠিক কোথায় আপলোড করতে হবে তা প্ল্যাটফর্মের উপর নির্ভর করে:

• সাধারণ হোস্টিং - প্যানেলের ফাইল ম্যানেজারের মাধ্যমে অথবা FTP ব্যবহার করে সেই ফোল্ডারে যেখানে মূল পৃষ্ঠাটি অবস্থিত (সাধারণত public_html বা www)।
• WordPress, যদি কোনো ফিজিক্যাল ফাইল না থাকে, তাহলে ইঞ্জিনটি একটি ভার্চুয়াল robots.txt ফাইল সরবরাহ করে। ফাইলটি রুটে আপলোড করলে তা প্রতিস্থাপিত হয়; দ্বিতীয় বিকল্পটি হলো SEO প্লাগইনের ফাইল এডিটর ব্যবহার করা।
• Next.js এবং অন্যান্য ফ্রেমওয়ার্কের ক্ষেত্রে ফাইলটি public ফোল্ডারে রাখা হয় অথবা প্রজেক্ট কোড থেকে তৈরি করা হয়, যাতে পরবর্তী ডিপ্লয়মেন্টের সময় এটি হারিয়ে না যায়।
• ওয়েবসাইট বিল্ডারগুলোতে ফাইলটি সাধারণত ম্যানুয়ালি আপলোড না করে এসইও সেটিংসে এডিট করা হয়।

ফাইলটির নাম অবশ্যই ছোট হাতের অক্ষরে robots.txt হতে হবে এবং এটি UTF-8 এনকোডিং-এ প্লেইন টেক্সট হিসেবে সেভ করতে হবে। ডাউনলোড করার পর, এটি আপনার ব্রাউজারে খুলুন: যদি আপনি আপনার টেক্সট দেখতে পান, তাহলে সবকিছু ঠিকঠাক আছে।

robots.txt-এ কী কী বন্ধ করা উচিত এবং কী কী উচিত নয়?

মূল নীতিটি হলো: এমন সবকিছু বন্ধ করে দিন যা অনুসন্ধানে কোনো মূল্য যোগ করে না এবং রোবটের সময় নষ্ট করে। এমন কিছু বন্ধ করবেন না যা রোবটের পৃষ্ঠাটি বোঝার জন্য অপরিহার্য।

সাধারণত বন্ধ থাকে:

• অ্যাডমিন প্যানেল এবং ব্যক্তিগত অ্যাকাউন্ট: /admin/, /wp-admin/, /account/;
• কার্ট এবং চেকআউট: /cart/, /checkout/;
• অভ্যন্তরীণ অনুসন্ধান: /search/, /?s=;
• সার্ভিস এবং টেম্পোরারি ফোল্ডারসমূহ: /tmp/, /cgi-bin/;
• ফিল্টার এবং সাজানোর বিকল্পগুলির অফুরন্ত সমাহার - চমৎকার, তবে শর্ত হলো প্রয়োজনীয় ফিল্টারগুলির জন্য আলাদা ল্যান্ডিং পেজ থাকতে হবে।

কখনো বন্ধ করবেন না:

• সিএসএস, জাভাস্ক্রিপ্ট এবং ছবি—এগুলো ছাড়া Google পৃষ্ঠাটিকে মানুষের মতো করে দেখতে পাবে না;
• ক্যাটালগ, ব্লগ, প্রোডাক্ট কার্ড এবং ল্যান্ডিং পেজ;
• ইনডেক্স থেকে যে পেজগুলো সরাতে চান, তার জন্য আপনার noindex প্রয়োজন হবে এবং রোবটকে অবশ্যই তা পড়তে সক্ষম হতে হবে।

WooCommerce সহ একটি সাধারণ WordPress স্টোরের জন্য আপনি এই ফাইলটি পাবেন:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

ফ্ল্যাগ প্রসঙ্গে। Google ক্রল-বিলম্বকে বিবেচনায় নেয় না—শুধুমাত্র তখনই এটি চালু করুন যখন আপনার সার্ভার অন্য বটের কারণে সমস্যায় পড়ে। এআই ক্রলারদের ব্লক করা একটি ব্যবসায়িক সিদ্ধান্ত: আপনি যদি চান যে ChatGPT, Gemini এবং পারপ্লেক্সিটি আপনার সম্পর্কে জানুক এবং আপনাকে সুপারিশ করুক, তাহলে তাদের অ্যাক্সেস ব্লক করবেন না।

আরেকটি গুরুত্বপূর্ণ বিষয় হলো সাইটের পরীক্ষামূলক সংস্করণ। স্টেজিং কপির জন্য 'Deny All' প্রিসেটটি ব্যবহার করুন, কিন্তু সাইট চালু করার সময় ফাইলটি অবশ্যই প্রতিস্থাপন করে নেবেন: কারণ ভুলে যাওয়া Disallow: / প্রায়শই নতুন সাইটগুলোর ট্র্যাফিক কমিয়ে দেয়।

তুলনা: PromoPilot জেনারেটর এবং Robots.txt তৈরির অন্যান্য উপায়

উপসংহার: সিনট্যাক্স না জেনে একটি বৈধ ফাইল পাওয়ার দ্রুততম উপায় হলো জেনারেটর। যখন ওয়েবসাইটের সাথে ফাইলটিও পরিবর্তন করার প্রয়োজন হয়, তখন প্লাগইন এবং প্রজেক্ট কোড সুবিধাজনক।

জেনারেটরটি প্রোমোপাইলটের ৮৭টি ফ্রি এসইও টুলের মধ্যে একটি। ফাইলটি ডাউনলোড করার পর, একটি robots.txt অ্যানালাইজার দিয়ে এটি যাচাই করুন, এবং সাইটম্যাপ লাইনের জন্য sitemap.xml জেনারেটরটি ব্যবহার করুন—এই দুটি বিষয়ই এই বিভাগের পাশের আর্টিকেলগুলোতে আলোচনা করা হয়েছে।

জেনারেটরের সীমাবদ্ধতা: এটি আপনার জন্য কী করতে পারবে না

জেনারেটরটি আপনার সাইটের কাঠামো সম্পর্কে জানে না। WordPress প্রিসেটটি সাধারণ সার্ভিস পাথগুলো বন্ধ করে দেবে, কিন্তু এটি অনুমান করতে পারবে না যে আপনার স্টোরের ফিল্টারগুলো /filter/ এবং অভ্যন্তরীণ সার্চ /find/ -এ থাকে। এই পাথগুলো আপনাকে নিজেই প্রবেশ করাতে হবে।

এটি ফাইলটি সার্ভারে আপলোড করে না বা /robots.txt ঠিকানায় ২০০ স্ট্যাটাস কোড দিয়ে ফাইলটি অ্যাক্সেসযোগ্য কিনা তাও পরীক্ষা করে না। আপলোড করার পর, ঠিকানাটি একটি ব্রাউজারে খুলুন অথবা একটি পার্সারের মাধ্যমে এটি চালান।

এবং এটি noindex বিকল্প নয়: যদি সার্চ রেজাল্ট থেকে পেজ বাদ দেওয়াই লক্ষ্য হয়, তবে robots.txt উপযুক্ত নয়। পরিশেষে, ফাইলটি আপনার ডেটা সুরক্ষিত রাখে না: এটি পাবলিক, এবং যে কেউ পড়তে পারে আপনি কোন অংশগুলো লক করেছেন। গোপনীয় তথ্য পাসওয়ার্ডের আড়ালে লুকানো থাকে।

কখন একটি বিনামূল্যের টুল যথেষ্ট নয়?

একটি ফাইল তৈরি করতে পাঁচ মিনিট সময় লাগে। হাজার হাজার পৃষ্ঠা সম্বলিত একটি সাইটে কী লক করা হবে তা সিদ্ধান্ত নেওয়া অনেক বড় কাজ। আপনার একজন বিশেষজ্ঞের প্রয়োজন যদি:

• স্টোরটিতে শত শত ফিল্টার কম্বিনেশন রয়েছে, এবং সেগুলোর মধ্যে কয়েকটি ট্র্যাফিক তৈরি করে;
• সাইটটি বহুভাষিক, যা সাবডোমেইনে অথবা ভাষাগুলোর জন্য আলাদা ফোল্ডারে অবস্থিত;
• robots.txt সম্পাদনা করার পর ট্র্যাফিক কমে গেছে, এবং এর জন্য কোন নিয়মটি দায়ী তা স্পষ্ট নয়;
• আপনাকে robots.txt, মেটা ট্যাগ, ক্যানোনিকাল এবং সাইটম্যাপকে একটি সিস্টেমের অধীনে আনতে হবে।

আপনার ওয়েবসাইটের জন্য আমি কী করতে পারি?

আমার নাম ভ্যালেরি দানিয়ুক, আমি একজন ডেভেলপার এবং এসইও বিশেষজ্ঞ। আমার ১২ বছরের অভিজ্ঞতা এবং ২০০-এর বেশি ক্লায়েন্ট রয়েছে। আমার তৈরি করা প্রতিটি ওয়েবসাইটে একটি যথাযথ robots.txt ফাইল থাকে।

এসইও এবং প্রচার

• টার্নকি এসইও অডিট: robots.txt, noindex, canonical, এবং sitemap একটি সমন্বিত সিস্টেম হিসেবে, কিছু এলোমেলো নিয়মের সমষ্টি হিসেবে নয়।
• একটি এআই-চালিত এসইও ব্লগ যা অর্গানিক লিড নিয়ে আসে ।
• অনুবাদকবিহীন একটি বহুভাষিক ওয়েবসাইট — যেখানে robots.txt এবং sitemap-কে অবশ্যই সমস্ত ভাষা বিবেচনায় রাখতে হয়।

ওয়েবসাইট এবং অনলাইন স্টোর

• WooCommerce অনলাইন স্টোর: ৪০টিরও বেশি টেমপ্লেট, ২৯৯ ইউরো — কার্ট, ফিল্টার এবং চেকআউটের জন্য robots.txt সহ।
• 1001site এর একটি ওয়েবসাইট, যেখানে সাইটম্যাপ এবং ইন্ডেক্সিং স্বয়ংক্রিয়ভাবে কনফিগার করা হয়। সাবস্ক্রিপশন ফি-যুক্ত বিল্ডারের থেকে এটি কীভাবে আলাদা? টিল্ডা বনাম এআই-চালিত ওয়েবসাইট বিশ্লেষণ।

সিআরএম, অ্যাকাউন্টিং এবং অটোমেশন

• একটি অনলাইন স্টোরের জন্য মাসিক হিসাবরক্ষণ ব্যবস্থা – চেক প্রজাতন্ত্রের একটি কোম্পানির জন্য একটি প্রকল্প।
• কোয়েস্টফ্লো হলো এআই-চালিত Telegram একটি SaaS বিল্ডার ।

পোর্টফোলিওতে আরও অনেক কিছু আছে। কী কী অন্তর্ভুক্ত করবেন তা নিয়ে নিশ্চিত নন? Telegram আপনার ওয়েবসাইটের ঠিকানা পাঠান – আমি আপনার কাঠামোর জন্য কিছু নিয়মকানুন বলে দেব।

ফলাফল

1. অনলাইন robots.txt জেনারেটরটি পাঁচ মিনিটের মধ্যে একটি সঠিক ফাইল তৈরি করে: প্রিসেট, পাথ, সাইটম্যাপ, ফ্ল্যাগ।
2. অ্যাডমিন প্যানেল, রিসাইকেল বিন, সার্চ এবং সার্ভিস ফোল্ডারগুলো বন্ধ করুন; কিন্তু CSS, JS, ক্যাটালগ বা ব্লগ বন্ধ করবেন না।
3. robots.txt ইনডেক্স থেকে পেজ মুছে ফেলে না - এই কাজটিই noindex ব্যবহার করে করা হয়।
4. জটিল কাঠামো, ফিল্টার এবং ভাষার কারণে সেটআপের দায়িত্ব কোনো বিশেষজ্ঞের ওপর অর্পণ করা অথবা 1001site এ একটি সাইট তৈরি করা উচিত, যেখানে ইন্ডেক্সিং আগে থেকেই কনফিগার করা থাকে।

বিনামূল্যের robots.txt জেনারেটর ব্যবহার করে এখনই আপনার নিজের robots.txt ফাইল তৈরি করুন, এবং নিয়মকানুন সম্পর্কে আপনার কোনো প্রশ্ন থাকলে Telegram আমাকে লিখুন ।

উৎস

• PromoPilot-এর robots.txt জেনারেটর টুল পেজ — সেটিংস, প্রিসেট এবং পেজ সম্পর্কিত প্রশ্নাবলী।
• Google সার্চ সেন্ট্রাল - কীভাবে একটি Robots.txt ফাইল তৈরি এবং জমা দেবেন।
• Next.js ডকুমেন্টেশন - রোবটস মেটাডেটা ফাইল।