অনলাইনে robots.txt চেক করা: কীভাবে সেইসব ত্রুটি খুঁজে বের করবেন যা আপনার সাইটকে সার্চ ইঞ্জিন থেকে আড়াল করে রাখছে।

সংক্ষেপে বলতে গেলে: অনলাইনে robots.txt চেক করতে, PromoPilot-এর robots.txt Analysis টুলে আপনার ডোমেইনটি লিখুন এবং "Analyze" বাটনে ক্লিক করুন। টুলটি স্বয়ংক্রিয়ভাবে ফাইলটি ডাউনলোড করবে, সমস্ত নির্দেশিকা (Allow, Disallow, Crawl-delay, Sitemap) বিশ্লেষণ করবে, ইউজার-এজেন্ট ব্লক এবং সেগুলোর টার্গেট করা রোবটগুলো প্রদর্শন করবে, সিনট্যাক্স ত্রুটি ও ঝুঁকিপূর্ণ নিয়ম খুঁজে বের করবে, গুরুত্বপূর্ণ URL-গুলোর প্রাপ্যতা যাচাই করবে এবং সুপারিশ প্রদান করবে। এটি বিনামূল্যে এবং এর জন্য কোনো রেজিস্ট্রেশনের প্রয়োজন নেই।

অন্যের robots.txt ফাইলে আমি এ পর্যন্ত যতগুলো লাইন দেখেছি, তার মধ্যে সবচেয়ে ব্যয়বহুল ছিল " Disallow: / ", যা ডেভেলপমেন্টের সময়কার একটি অবশিষ্ট অংশ। সাইটটি চালু করা হয়েছিল, বিজ্ঞাপনের জন্যও অর্থ প্রদান করা হয়েছিল, কিন্তু তিন সপ্তাহ ধরে অর্গানিক ট্র্যাফিক শূন্যই ছিল, কারণ রোবটদের সমস্ত পেজ ভিজিট করা থেকে ব্লক করে রাখা হয়েছিল।

robots.txt বিশ্লেষণ কী কী পরীক্ষা করে?

Robots.txt হলো ওয়েবসাইটের রুটে থাকা একটি ছোট টেক্সট ফাইল, কিন্তু এতে ভুল হওয়া খুবই সহজ: একটি অতিরিক্ত স্ল্যাশ কোনো নিয়মের অর্থ বদলে দিতে পারে। টুলটি ফাইলটি ঠিক সেভাবেই পড়ে, যেভাবে সার্চ রোবটগুলো পড়ে।

টুলটির বিবরণ থেকে প্রাপ্ত ফলাফলের একটি উদাহরণ: "২টি সম্ভাব্য ঝুঁকিপূর্ণ Disallow রুল এবং ১টি অনুপস্থিত Sitemap ডিরেক্টিভ পাওয়া গেছে।" এই ধরনের ফলাফলগুলো বিশেষ মনোযোগের দাবি রাখে।

অনলাইনে robots.txt কীভাবে চেক করবেন?

1. টুলটি খুলুন। Robots.txt বিশ্লেষণ ব্রাউজারে কাজ করে।
2. ডোমেইনটি লিখুন: https://example.com । ফাইলটি স্বয়ংক্রিয়ভাবে /robots.txt এ ডাউনলোড হয়ে যাবে।
3. ‘বিশ্লেষণ করুন’ বোতামে ক্লিক করুন।
4. ইউজার-এজেন্ট ব্লকগুলোর জন্য নির্দেশাবলীর তালিকাটি পর্যালোচনা করুন ।
5. ভুল এবং ঝুঁকিপূর্ণ নিয়মগুলো বিশ্লেষণ করা - এটাই প্রতিবেদনের মূল বিষয়।
6. সার্ভারে অথবা সিএমএস সেটিংসে ফাইলটি সংশোধন করুন এবং পুনরায় চেকটি চালান।

টুল পেজ: ঠিকানা ক্ষেত্র, "বিশ্লেষণ" বোতাম, এবং বিবরণ—কী কী যাচাই করা হয়েছে, পরিস্থিতি, এবং সীমাবদ্ধতা।

দুটি অপরিহার্য পরিস্থিতিতে robots.txt ফাইলটি পরীক্ষা করুন: আপনার সাইটের নতুন সংস্করণ চালু করার আগে এবং যেকোনো স্থানান্তরের পরে। এই সময়েই পরীক্ষামূলক সীমাবদ্ধতাগুলো প্রোডাকশন সংস্করণে স্থানান্তরিত হওয়ার সম্ভাবনা সবচেয়ে বেশি থাকে। আপনার প্রতিযোগীর robots.txt ফাইলটি পরীক্ষা করাও উপকারী: এর সীমাবদ্ধ বিভাগগুলো থেকে বোঝা যায় যে তারা কোন পৃষ্ঠাগুলোকে পরিষেবা পৃষ্ঠা হিসেবে বিবেচনা করে এবং তাদের ডিরেক্টরি কীভাবে গঠিত।

ফলাফল কীভাবে পড়বেন এবং প্রথমে কী সংশোধন করবেন?

পুরো সাইট জুড়ে থাকা নিয়ম থেকে সরে এসে শুধু বাহ্যিক সৌন্দর্যের দিকে মনোযোগ দিন।

1. User-agent: * ব্লকে Disallow: / । সম্পূর্ণ সাইটটি বন্ধ হয়ে যাবে। এটি যদি পরীক্ষামূলক সংস্করণ না হয়, তবে অবিলম্বে এই লাইনটি মুছে ফেলুন।
2. গুরুত্বপূর্ণ অংশগুলো বন্ধ থাকে। Disallow: /catalog শুধু ডিরেক্টরিটিই নয়, বরং এই অক্ষরগুলো দিয়ে শুরু হওয়া যেকোনো কিছুকেও বন্ধ করে দেয়, যেমন /catalog-sale/ । নিয়মগুলো পাথের শুরুর উপর ভিত্তি করে তৈরি, এবং বড় বা ছোট হাতের অক্ষরের গুরুত্ব রয়েছে।
3. CSS, JS, এবং ছবি ব্লক করা থাকে। Disallow: /wp-content/ মতো নিয়মগুলো Google মানুষের মতো করে পৃষ্ঠাটি দেখতে বাধা দেয়। ক্রলারের স্টাইল এবং স্ক্রিপ্ট লোড করা উচিত।
4. কোনো সাইটম্যাপ লাইন নেই অথবা এটি 404 পৃষ্ঠায় নিয়ে যায়। অনুগ্রহ করে প্রোটোকল সহ সম্পূর্ণ সাইটম্যাপ ঠিকানা প্রদান করুন।
5. সিনট্যাক্স। ডিরেক্টিভের নামে টাইপিংয়ের ভুল, ইউজার-এজেন্ট ব্লকের বাইরে রুল থাকা, এবং ব্লকের মধ্যে খালি লাইন—রোবটগুলো এই ধরনের ভুল লাইন উপেক্ষা করে এবং রুলটি নীরবে ব্যর্থ হয়।
6. যেসব নির্দেশাবলী Google সমর্থন করে না। Google Crawl-delay উপেক্ষা করে, এবং Google robots.txt-এ Noindex সমর্থন করে না। আপনি যদি এগুলোর ওপর নির্ভর করেন, তাহলে এই নিয়মটি প্রযোজ্য হবে না।

একটি WordPress সাইটের জন্য সঠিক ফাইলের উদাহরণ:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

অ্যাডমিন প্যানেল, অভ্যন্তরীণ অনুসন্ধান এবং স্টোর ইউটিলিটি পেজগুলো বন্ধ থাকে, এজেক্স হ্যান্ডলার (যা ছাড়া সাইটের কিছু অংশ ভেঙে যায়) সক্রিয় থাকে এবং সাইটম্যাপ নির্দিষ্ট করা থাকে। বাকি সবকিছু ডিফল্টরূপে সক্রিয় থাকে।

একাধিক নিয়ম থাকলে আপনি কীভাবে বুঝবেন যে একটি নির্দিষ্ট ইউআরএল খোলা আছে? Google সবচেয়ে নির্দিষ্ট নিয়মটি প্রয়োগ করে—অর্থাৎ যেটির পাথ সবচেয়ে দীর্ঘ। যদি কোনো ফাইলে Disallow: /blog/ এবং Allow: /blog/seo/ উভয়ই থাকে, তাহলে /blog/seo/proverka/ পেজটি খোলা থাকে এবং /blog/news/ বন্ধ থাকে। যদি পাথগুলোর দৈর্ঘ্য সমান হয়, তাহলে Allow নিয়মটি কার্যকর হয়। অ্যাস্টারিস্ক ( * যেকোনো অক্ষরের ক্রমকে বোঝায় এবং $ ইউআরএল-এর শেষ নির্দেশ করে: Disallow: /*.pdf$ সব পিডিএফ ফাইল বন্ধ করে দেয়, কিন্তু /pdf-guide/ পেজটি বন্ধ করে না।

আরেকটি সাধারণ বিষয় হলো একই রোবটের জন্য একাধিক ব্লক থাকা, অথবা একটি সাধারণ ব্লকের সাথে অন্য একটি ব্লকের ওভারল্যাপ হওয়া। যদি কোনো ফাইলে User-agent: Google bot থাকে, তাহলে Google bot শুধুমাত্র এই ব্লকটি পড়ে এবং User-agent: * -এর নিয়মগুলোকে সম্পূর্ণ উপেক্ষা করে। তাই, সমস্ত প্রয়োজনীয় বিধিনিষেধ তার নিজের ব্লকেও পুনরায় যুক্ত করতে হবে।

২০২৬ সালের জন্য একটি পৃথক বিষয় হলো এআই ক্রলার। User-agent: GPTBot Disallow: / দিয়ে ব্লক করলে OpenAI সাইটটি ক্রল করতে পারে না। এটি আপনার সিদ্ধান্ত, কিন্তু মনে রাখবেন: যদি কোনো সাইট এআই বটের জন্য বন্ধ থাকে, তবে অ্যাসিস্ট্যান্টদের পক্ষে সেটিকে সুপারিশ করা আরও কঠিন হয়ে পড়ে।

তুলনা: প্রোমোপাইলট robots.txt বিশ্লেষণ এবং বিকল্পসমূহ

উপসংহার: সার্চ কনসোল দেখায় Google ফাইলটিকে কীভাবে দেখে, কিন্তু তা শুধু আপনার সাইটের জন্যই। অনলাইন বিশ্লেষণ যেকোনো ডোমেইনের সঙ্গে কাজ করে এবং সমস্যাটি কোথায় তা ব্যাখ্যা করে।

Robots.txt বিশ্লেষণ হলো PromoPilot-এর ৮৭টি বিনামূল্যের SEO টুলের মধ্যে একটি। যদি আপনার robots.txt ফাইল না থাকে অথবা প্রথম থেকে এটি নতুন করে লেখা সহজ মনে হয়, তাহলে robots.txt জেনারেটর সেকশনে সম্পর্কিত আর্টিকেলটি দেখুন—সেখানে আপনি ফাইলটি তৈরি করার জন্য একটি ভিজ্যুয়াল বিল্ডার পাবেন। আর সাইটম্যাপটি নিজে পরীক্ষা করার জন্য, একটি আলাদা sitemap.xml বিশ্লেষণ টুল রয়েছে।

সীমাবদ্ধতা: robots.txt চেকিং কী প্রতিস্থাপন করবে না?

এই টুলটি শুধুমাত্র robots.txt ফাইলটি পরীক্ষা করে এবং এটি পৃষ্ঠা-স্তরের robots মেটা ট্যাগ নিরীক্ষার বিকল্প নয়। একটি পৃষ্ঠা robots.txt-এ খোলা থাকতে পারে, কিন্তু noindex মেটা ট্যাগ বা X-Robots-Tag হেডার দ্বারা অবরুদ্ধ থাকতে পারে। এই ধরনের সীমাবদ্ধতা একটি পৃষ্ঠা পরীক্ষা বা একটি সম্পূর্ণ নিরীক্ষা সম্পাদনের মাধ্যমে শনাক্ত করা উচিত।

বিভিন্ন সার্চ ইঞ্জিন অপ্রচলিত নির্দেশাবলীকে ভিন্নভাবে ব্যাখ্যা করে। একটি সার্চ ইঞ্জিন যা সমর্থন করে, অন্যটি তা নীরবে উপেক্ষা করে। প্রচলিত User-agent, Allow, Disallow এবং Sitemap উপর নির্ভর করুন—সব প্রধান সার্চ ইঞ্জিনই এগুলো বোঝে।

এবং মনে রাখবেন: robots.txt কোনো নিরাপত্তা নয়। এটি রোবটদেরকে বিনয়ের সাথে প্রবেশ না করতে অনুরোধ করে, কিন্তু প্রবেশাধিকার পুরোপুরি বন্ধ করে দেয় না। অ্যাডমিন প্যানেল এবং ব্যক্তিগত তথ্য পাসওয়ার্ড দিয়ে সুরক্ষিত থাকে, কোনো "Disallow" লাইন দিয়ে নয়। তাছাড়া, robots.txt সবার জন্য উন্মুক্ত: এতে 'গোপন' বিভাগগুলো তালিকাভুক্ত করার মাধ্যমে আপনি সেগুলোকে কৌতূহলী মানুষের কাছে প্রকাশ করে দেন।

কখন একটি বিনামূল্যের টুল যথেষ্ট নয়?

ঝুঁকিপূর্ণ নিয়ম খুঁজে বের করাই অর্ধেক কাজ। কোন বিভাগগুলো বন্ধ করতে হবে তা ঠিক করাই একটি কৌশল। আপনার একজন বিশেষজ্ঞের প্রয়োজন যদি:

• স্টোরটিতে হাজার হাজার পৃষ্ঠার ফিল্টার এবং সাজানোর বিকল্প রয়েছে, এবং সেগুলোর মধ্যে কোনটি বন্ধ করতে হবে তা স্পষ্ট নয়;
• সাইটটি সার্চ রেজাল্ট থেকে বাদ পড়েছে, কিন্তু robots.txt “ঠিক আছে বলে মনে হচ্ছে”;
• robots.txt ফাইলটি CMS বা প্লাগইন দ্বারা তৈরি হয় এবং আপনার করা পরিবর্তনগুলো এতে মুছে যায়;
• আমাদের সিদ্ধান্ত নিতে হবে যে এআই ক্রলার চালু করা হবে কিনা এবং এটি অ্যাসিস্ট্যান্টদের দৃশ্যমানতাকে কীভাবে প্রভাবিত করবে।

আপনার ওয়েবসাইটের জন্য আমি কী করতে পারি?

আমার নাম ভ্যালেরি দানিয়ুক, এবং আমি একজন ডেভেলপার ও এসইও বিশেষজ্ঞ। আমার ১২ বছরের অভিজ্ঞতা এবং ২০০-এর বেশি ক্লায়েন্ট রয়েছে। প্রতিটি অডিটে আমি সবার আগে Robots.txt, মেটা ট্যাগ এবং সাইটম্যাপ পরীক্ষা করি।

এসইও এবং প্রচার

• টার্নকি এসইও অডিট: robots.txt, noindex, canonical, sitemap, এবং প্রকৃত ইন্ডেক্সিং—সংশোধন সহ।
• এআই এজেন্ট চালিত অটোব্লগ হলো একটি মানববিহীন সম্পাদকীয় দল, যা প্রবন্ধ প্রকাশ করে এবং তাৎক্ষণিকভাবে সেগুলোকে ইন্ডেক্সিংয়ের জন্য উন্মুক্ত করে দেয়।
• জিও: কীভাবে একটি হোটেল ChatGPT, Gemini এবং পারপ্লেক্সিটিতে স্থান পেল — এআই অ্যাসিস্ট্যান্টের প্রতিক্রিয়ায় দৃশ্যমানতার উপর একটি কেস স্টাডি।

ওয়েবসাইট এবং অনলাইন স্টোর

• ২৯৯ ইউরোতে এআই অ্যাসিস্ট্যান্ট সহ একটি WordPress ওয়েবসাইট — প্রথম দিন থেকেই একটি যথাযথ robots.txt ফাইল এবং সাইটম্যাপ সহ।
• 1001site এর ওয়েবসাইটে সাইটম্যাপ, স্ট্রাকচার্ড ডেটা এবং এআই-বট ইন্ডেক্সিং স্বয়ংক্রিয়ভাবে কনফিগার করা হয়।

সিআরএম, অ্যাকাউন্টিং এবং অটোমেশন

• ৬ দিনের মধ্যে স্বয়ংক্রিয়ভাবে ভেঙে ফেলার জন্য ইআরপি, ওয়েবসাইট এবং এআই-চালিত Telegram বট ।
• পার্টনার স্টোরসহ একটি ড্রপশিপিং প্ল্যাটফর্ম — যেখানে প্রতিটি স্টোরের জন্য নিজস্ব বৈধ robots.txt ফাইল থাকা আবশ্যক।

সবগুলো কেস পোর্টফোলিওতে আছে। Telegram আমাকে আপনার অ্যাড্রেস পাঠান, আমি আপনার robots.txt পড়ে দেখব এবং কোনো অপ্রয়োজনীয় অংশ বন্ধ করেছি কিনা তা আপনাকে জানিয়ে দেব।

ফলাফল

1. অনলাইনে robots.txt ফাইলটি মাত্র এক মিনিটেই চেক করলে এমন সব নিয়ম জানা যায়, যা কোনো সাইট বা তার বিভিন্ন অংশকে রোবটদের থেকে লুকিয়ে রাখে।
2. ক্রমানুসারে সমাধান করুন Disallow: / → বন্ধ সেকশন → CSS ও JS → সাইটম্যাপ → সিনট্যাক্স।
3. Disallow ইনডেক্স থেকে কোনো পেজ মুছে ফেলে না; এর জন্য খোলা পেজটিতে noindex আবশ্যক।
4. যদি CMS দ্বারা robots.txt তৈরি হয় এবং সম্পাদনাগুলো স্থায়ী না হয়, তবে সেটআপের দায়িত্ব কোনো বিশেষজ্ঞের ওপর অর্পণ করা অথবা 1001site এ চলে যাওয়া সহজ, যেখানে ইন্ডেক্সিং আগে থেকেই কনফিগার করা থাকে।

এখনই আপনার ফাইলটি পরীক্ষা করুন: একটি বিনামূল্যের robots.txt বিশ্লেষণ চালান, এবং যদি কোনো ঝুঁকিপূর্ণ নিয়ম খুঁজে পান, তাহলে আমাকে Telegram জানান ।

উৎস

• PromoPilot-এর robots.txt বিশ্লেষণ টুল পৃষ্ঠা — যাচাইকরণ, নমুনা ফলাফল, এবং পৃষ্ঠার প্রশ্নাবলী।
• Google সার্চ সেন্ট্রাল - robots.txt এবং সমর্থিত নির্দেশাবলীর পরিচিতি।
• Google সার্চ কনসোল হেল্প - Robots.txt রিপোর্ট।