Kiểm tra robots.txt trực tuyến: cách tìm lỗi khiến trang web của bạn bị ẩn khỏi công cụ tìm kiếm

Câu trả lời ngắn gọn: để kiểm tra robots.txt trực tuyến, hãy nhập tên miền của bạn vào công cụ Phân tích robots.txt của PromoPilot và nhấp vào "Phân tích". Công cụ sẽ tự động tải xuống tệp, phân tích tất cả các chỉ thị (Cho phép, Không cho phép, Trì hoãn thu thập dữ liệu, Sơ đồ trang web), hiển thị các khối User-Agent và các robot mà chúng nhắm mục tiêu, tìm lỗi cú pháp và các quy tắc rủi ro, kiểm tra tính khả dụng của các URL quan trọng và đưa ra các khuyến nghị. Công cụ này miễn phí và không yêu cầu đăng ký.

Dòng lệnh đắt nhất mà tôi từng thấy trong file robots.txt của người khác là " Disallow: / ", một dòng lệnh còn sót lại từ quá trình phát triển. Trang web đã được ra mắt, quảng cáo đã được trả tiền, nhưng lưu lượng truy cập tự nhiên vẫn bằng không trong ba tuần vì robot bị chặn không cho truy cập vào tất cả các trang.

Quá trình phân tích robots.txt kiểm tra những gì?

Robots.txt là một tập tin văn bản ngắn nằm ở thư mục gốc của một trang web, nhưng rất dễ mắc lỗi: chỉ cần thêm một dấu gạch chéo cũng có thể thay đổi ý nghĩa của một quy tắc. Công cụ này đọc tập tin theo cách tương tự như các robot tìm kiếm.

Ví dụ về kết quả từ mô tả công cụ: "Đã tìm thấy 2 quy tắc Disallow có khả năng gây rủi ro và 1 chỉ thị Sitemap bị thiếu." Đây là những loại phát hiện cần được đặc biệt chú ý.

Làm thế nào để kiểm tra robots.txt trực tuyến?

1. Mở công cụ. Phân tích Robots.txt hoạt động trên trình duyệt.
2. Nhập tên miền: https://example.com. Tệp sẽ được tải xuống tự động vào /robots.txt.
3. Nhấp vào "Phân tích".
4. Xem lại danh sách các chỉ thị cho các khối User-agent.
5. Phân tích các sai lầm và quy tắc rủi ro - đây là nội dung chính của báo cáo.
6. Hãy sửa lỗi tệp trên máy chủ hoặc trong cài đặt CMS và chạy lại quá trình kiểm tra.

Trang công cụ: trường địa chỉ, nút "Phân tích" và mô tả — những gì được chọn, các trường hợp và hạn chế.

Hãy kiểm tra tệp robots.txt trong hai trường hợp thiết yếu: trước khi ra mắt phiên bản mới của trang web và sau bất kỳ thao tác di chuyển nào. Đây là thời điểm các hạn chế thử nghiệm có nhiều khả năng được chuyển sang phiên bản chính thức nhất. Việc kiểm tra tệp robots.txt của đối thủ cạnh tranh cũng rất hữu ích: các phần bị hạn chế cho thấy những trang nào họ coi là trang dịch vụ và cấu trúc thư mục của họ như thế nào.

Làm thế nào để đọc kết quả và cần sửa lỗi nào trước tiên?

Hãy chuyển từ các quy tắc áp dụng cho toàn bộ trang web sang các quy tắc mang tính thẩm mỹ.

1. Disallow: / trong khối User-agent: *. Toàn bộ trang web sẽ bị đóng. Nếu đây không phải là phiên bản thử nghiệm, hãy xóa dòng này ngay lập tức.
2. Các phần quan trọng đã bị đóng. Disallow: /catalog không chỉ đóng thư mục mà còn đóng bất cứ thứ gì bắt đầu bằng các ký tự này, chẳng hạn như /catalog-sale/. Các quy tắc dựa trên phần đầu của đường dẫn và phân biệt chữ hoa chữ thường.
3. CSS, JS và hình ảnh bị chặn. Một quy tắc như Disallow: /wp-content/ ngăn Google xem trang như một người dùng thông thường. Trình thu thập thông tin cần tải các kiểu dáng và tập lệnh.
4. Không có dòng sơ đồ trang web hoặc dẫn đến lỗi 404. Vui lòng cung cấp địa chỉ sơ đồ trang web đầy đủ kèm theo giao thức.
5. Cú pháp. Lỗi chính tả trong tên chỉ thị, các quy tắc nằm ngoài khối User-Agent và các dòng trống bên trong khối — robot sẽ bỏ qua các dòng không hợp lệ và quy tắc sẽ không được thực thi.
6. Các chỉ thị mà Google không hỗ trợ. Google bỏ qua Crawl-delay và Google không hỗ trợ Noindex trong robots.txt. Nếu bạn đang dựa vào những chỉ thị này, quy tắc này không áp dụng.

Ví dụ về một file hợp lệ cho trang web WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Trang quản trị, trang tìm kiếm nội bộ và trang tiện ích cửa hàng đã bị đóng, trình xử lý AJAX (nếu thiếu nó thì một số phần của trang web sẽ bị lỗi) được bật và sơ đồ trang web đã được chỉ định. Mọi thứ khác đều được bật theo mặc định.

Làm sao để biết một URL cụ thể có đang mở hay không nếu có nhiều quy tắc? Google áp dụng quy tắc cụ thể nhất—quy tắc có đường dẫn dài nhất. Nếu một tệp chứa Disallow: /blog/ và Allow: /blog/seo/, thì trang /blog/seo/proverka/ đang mở và /blog/news/ bị đóng. Nếu các đường dẫn có cùng độ dài, quy tắc cho phép sẽ được ưu tiên. Dấu hoa thị * đại diện cho bất kỳ chuỗi ký tự nào, và $ đánh dấu cuối URL: Disallow: /*.pdf$ đóng tất cả các tệp PDF, nhưng không đóng trang /pdf-guide/.

Một phát hiện phổ biến khác là nhiều khối dành cho cùng một robot, hoặc một khối chung chồng chéo lên một khối riêng biệt. Nếu một tệp chứa User-agent: Google bot, Google bot chỉ đọc khối này và hoàn toàn bỏ qua các quy tắc trong User-agent: *. Do đó, tất cả các hạn chế cần thiết sẽ phải được sao chép trong khối của nó.

Một chủ đề riêng cho năm 2026 là về trình thu thập dữ liệu AI. Khối User-agent: GPTBot với Disallow: / ngăn OpenAI thu thập dữ liệu trang web. Đây là quyết định của bạn, nhưng hãy nhớ: nếu một trang web bị chặn đối với bot AI, thì trợ lý ảo sẽ khó đề xuất trang web đó hơn.

So sánh: Phân tích robots.txt của PromoPilot và các giải pháp thay thế

Kết luận: Search Console hiển thị cách Google nhìn nhận tệp tin, nhưng chỉ dành cho trang web của bạn. Phân tích trực tuyến hoạt động với bất kỳ tên miền nào và giải thích vấn đề là gì.

Phân tích robots.txt là một trong 87 công cụ SEO miễn phí của PromoPilot. Nếu bạn không có tệp robots.txt hoặc muốn viết lại từ đầu, hãy xem bài viết liên quan trong phần tạo robots.txt — ở đó bạn sẽ tìm thấy trình tạo trực quan để tạo tệp. Và để kiểm tra sơ đồ trang web, có một công cụ phân tích sitemap.xml riêng biệt.

Hạn chế: Việc kiểm tra robots.txt không thể thay thế những gì?

Công cụ này chỉ kiểm tra tệp robots.txt và không thay thế việc kiểm tra thẻ meta robots ở cấp độ trang. Một trang có thể được mở trong robots.txt nhưng bị chặn bởi thẻ meta noindex hoặc tiêu đề X-Robots-Tag. Những hạn chế như vậy cần được phát hiện bằng cách thực hiện kiểm tra trang hoặc kiểm tra toàn diện.

Các công cụ tìm kiếm khác nhau diễn giải các chỉ thị không chuẩn theo những cách khác nhau. Những gì một công cụ tìm kiếm hỗ trợ, công cụ khác sẽ âm thầm bỏ qua. Hãy dựa vào các chỉ thị chuẩn User-agent, Allow, Disallow và Sitemap — tất cả các công cụ tìm kiếm chính đều hiểu chúng.

Và hãy nhớ: robots.txt không phải là bảo mật. Nó lịch sự yêu cầu robot không truy cập, nhưng không chặn hoàn toàn. Bảng quản trị và dữ liệu cá nhân được bảo vệ bằng mật khẩu, chứ không phải bằng dòng "Không cho phép". Hơn nữa, robots.txt mở cho tất cả mọi người: bằng cách liệt kê các phần "bí mật" trong đó, bạn đang để lộ chúng cho những người tò mò.

Khi nào thì một công cụ miễn phí không còn đủ?

Tìm ra một quy tắc rủi ro là đã giải quyết được một nửa vấn đề. Quyết định đóng cửa phần nào đã là một chiến lược. Bạn cần chuyên gia nếu:

• Cửa hàng có hàng ngàn trang bộ lọc và tùy chọn sắp xếp, và không rõ nên tắt tùy chọn nào;
• Trang web đã bị loại khỏi kết quả tìm kiếm, nhưng tệp robots.txt "có vẻ vẫn hoạt động tốt";
• Tệp robots.txt được tạo bởi hệ thống quản lý nội dung (CMS) hoặc plugin, và các chỉnh sửa của bạn sẽ bị ghi đè;
• Chúng ta cần quyết định xem có nên bật trình thu thập dữ liệu AI hay không và điều này sẽ ảnh hưởng như thế nào đến khả năng hiển thị trong trợ lý ảo.

Tôi có thể làm gì cho trang web của bạn?

Tôi tên là Valeriy Danyuk, là một nhà phát triển phần mềm và chuyên gia SEO với 12 năm kinh nghiệm và hơn 200 khách hàng. Robots.txt, thẻ meta và sơ đồ trang web là những thứ đầu tiên tôi kiểm tra trong mỗi lần kiểm toán.

SEO và quảng bá

• Dịch vụ kiểm tra SEO trọn gói: robots.txt, noindex, canonical, sitemap và lập chỉ mục thực tế - kèm theo sửa lỗi.
• Autoblog với các tác nhân AI là một đội ngũ biên tập không cần con người, tự động đăng tải bài viết và ngay lập tức mở chúng để lập chỉ mục.
• GEO: Làm thế nào một khách sạn được giới thiệu trên ChatGPT, Gemini và Perplexity — Một nghiên cứu điển hình về khả năng hiển thị trong phản hồi của trợ lý AI.

Trang web và cửa hàng trực tuyến

• Một trang web WordPress tích hợp trợ lý AI với giá 299€ — bao gồm cả file robots.txt và sơ đồ trang web đầy đủ ngay từ đầu.
• Website trên 1001site: sơ đồ trang web, dữ liệu có cấu trúc và lập chỉ mục bằng AI-bot được cấu hình tự động.

CRM, kế toán và tự động hóa

• Hệ thống ERP, website và bot Telegram tích hợp trí tuệ nhân tạo giúp tháo dỡ ô tô trong vòng 6 ngày.
• Một nền tảng dropshipping với các cửa hàng đối tác — trong đó mỗi cửa hàng yêu cầu một tệp robots.txt hợp lệ riêng.

Tất cả các trường hợp đều có trong hồ sơ. Hãy gửi địa chỉ của bạn cho tôi trên Telegram, và tôi sẽ đọc tệp robots.txt của bạn và cho bạn biết nếu tôi đã đóng bất kỳ phần nào không cần thiết.

Kết quả

1. Kiểm tra tệp robots.txt trực tuyến chỉ trong một phút là có thể thấy các quy tắc ẩn trang web hoặc các phần của trang web khỏi robot tìm kiếm.
2. Sửa theo thứ tự: Disallow: / → các phần đóng → CSS và JS → Sơ đồ trang web → cú pháp.
3. Lệnh Disallow không xóa trang khỏi chỉ mục; việc này yêu cầu phải noindex trên trang đang mở.
4. Nếu tệp robots.txt được tạo bởi hệ thống quản lý nội dung (CMS) và các chỉnh sửa không được lưu lại, thì việc giao phó thiết lập cho một chuyên gia hoặc chuyển sang sử dụng 1001site sẽ dễ dàng hơn, vì việc lập chỉ mục đã được cấu hình sẵn.

Hãy kiểm tra tệp robots.txt của bạn ngay bây giờ: chạy phân tích robots.txt miễn phí, và nếu bạn tìm thấy bất kỳ quy tắc nào có rủi ro, hãy liên hệ với tôi qua Telegram.

Nguồn

• Trang công cụ phân tích robots.txt của PromoPilot — các kiểm tra, kết quả mẫu và câu hỏi trang.
• Google Search Central - Giới thiệu về robots.txt và các chỉ thị được hỗ trợ.
• Trợ giúp Google Search Console - Báo cáo Robots.txt.