Câu trả lời ngắn gọn: để kiểm tra việc lập chỉ mục của một trang trên Google, hãy dán địa chỉ trang đó vào công cụ Kiểm tra Lập chỉ mục Trang của PromoPilot. Công cụ này sẽ thực hiện yêu cầu truy cập trang web thực tế tới Google và cho bạn biết URL đó có được lập chỉ mục hay không. Nếu không, nó sẽ kiểm tra các vấn đề, bao gồm thẻ meta robots và X-Robots, tệp robots.txt bị cấm, chuẩn hóa URL hoặc thiếu tệp sitemap.xml. Sau đó, nó sẽ trả về kết quả với các nguyên nhân và cách khắc phục có thể. Công cụ này miễn phí và không yêu cầu đăng ký. Dưới đây là cách đọc kết quả và những việc cần làm đối với từng vấn đề.
"Trang web đã được xuất bản cách đây một tháng, nhưng lại không xuất hiện trên Google " là câu hỏi phổ biến nhất mà tôi nhận được. Một nửa số trường hợp, thủ phạm là do quên thêm noindex, vốn là tàn dư từ quá trình phát triển.
Việc lập chỉ mục trang kiểm tra những gì?
Công cụ này kết hợp hai yếu tố: một thực tế (trang đó hiện có xuất hiện trên Google hay không) và một chẩn đoán (về nguyên tắc, trang đó có thể được xếp hạng cao hay không).
| Bài kiểm tra | Anh ấy đang nhìn gì vậy? | Tại sao điều này lại cần thiết? |
|---|---|---|
| Tính khả dụng trong chỉ mục | Một trang web thực: hãy tìm kiếm URL này trên Google | Câu trả lời cho câu hỏi chính: Google có nhìn thấy trang này không? |
| robot meta | Thẻ <meta name="robots" content="noindex"> trong mã | Cấm hoàn toàn việc lập chỉ mục là lý do phổ biến nhất. |
| X-Robots-Tag | Lệnh cấm tương tự, nhưng được ghi trong tiêu đề phản hồi HTTP. | Nó không hiển thị trong mã trang và rất dễ bị bỏ sót. |
| robots.txt | Địa chỉ này có bị chặn bởi quy tắc Disallow không? | Robot không thể tự động quét một trang và đọc nội dung của nó. |
| chính tắc | Liên kết chuẩn trỏ đến địa chỉ nào? | Chuyển hướng đến URL khác - Yêu cầu lập chỉ mục một trang khác |
| sitemap.xml | Địa chỉ này có trên sơ đồ trang web không? | Nếu không có sơ đồ trang web và các liên kết, Google có thể không biết đến trang đó trong một thời gian dài. |
| Phán quyết | Tóm tắt kèm theo lý do và giải pháp. | Cụ thể thì cần sửa chữa bộ phận nào? |
Làm thế nào để kiểm tra xem một trang web đã được Google lập chỉ mục hay chưa?
- Mở công cụ kiểm tra chỉ mục trang.
- Hãy dán toàn bộ địa chỉ trang, bao gồm cả giao thức và chính xác như hiển thị trên trình duyệt:
https://example.com/new-page. - Nhấp vào "Kiểm tra chỉ mục" và đợi Google truy vấn và phân tích các yếu tố.
- Đọc kết luận: "có trong chỉ mục" hoặc "không có trong chỉ mục" và danh sách các khối được tìm thấy.
- Hãy loại bỏ nguyên nhân và kiểm tra lại sau vài ngày.
Đây là giao diện trang công cụ: một ô nhập địa chỉ, bộ đếm số lần kiểm tra miễn phí trong ngày hôm nay và danh sách những gì đang được phân tích.
Ví dụ về phán quyết: Trang https://example.com/new-page bị chặn lập chỉ mục vì mã chứa thẻ meta noindex, và URL chuẩn trỏ đến một URL khác. Có hai lý do cùng lúc, và cả hai đều nằm trong mẫu.
Tại sao trang này không được lập chỉ mục và tôi nên khắc phục vấn đề gì trước tiên?
Hãy xem xét các lý do theo thứ tự này - từ những lệnh cấm trực tiếp đến những lệnh cấm "mềm".
- Hãy xóa thẻ noindex trong meta robots hoặc X-Robots-Tag. Một trường hợp thường gặp: trong quá trình phát triển, tùy chọn "ẩn trang web khỏi công cụ tìm kiếm" đã được bật trong CMS nhưng sau đó lại bị quên tắt. Đối với X-Robots-Tag, hãy kiểm tra cài đặt máy chủ, CDN hoặc plugin SEO của bạn.
- Cấm trong robots.txt. Một quy tắc như
Disallow: /blog/sẽ đóng toàn bộ phần đó. Một điểm tinh tế: nếu một trang bị đóng trong robots.txt, Google không thể đọc được "noindex" trên đó. Do đó, để xóa nó khỏi chỉ mục, bạn cần một robots.txt mở và có "noindex", còn để lập chỉ mục, chỉ cần xóa thẻ "Disallow". - Liên kết chuẩn trỏ đến một địa chỉ khác. Nếu trang đó là duy nhất, liên kết chuẩn phải trỏ đến chính trang đó. Lỗi thường nằm ở mẫu: tất cả sản phẩm có liên kết chuẩn trỏ đến danh mục, tất cả bài viết lại trỏ đến trang chủ của blog.
- Trang đó không có trong sơ đồ trang web và không có liên kết nào. Đó là một trang mồ côi mà Google không biết đến. Hãy thêm nó vào tệp sitemap.xml của bạn và thêm các liên kết từ các trang đã được lập chỉ mục — từ menu, danh mục và các bài viết liên quan.
- Mọi thứ đều mở, nhưng trang đó lại không hiển thị. Điều này có nghĩa là Google đã nhìn thấy trang đó và quyết định không đưa vào kết quả tìm kiếm — thường là do nội dung quá ít hoặc trùng lặp. Chỉ có việc cải thiện chính trang đó mới có thể giúp được.
Cách nhanh chóng tìm thấy một khối bị chặn. Mở trang, nhấn Ctrl+U, và tìm kiếm noindex và canonical trong mã. Tiêu đề X-Robots-Tag hiển thị trong công cụ dành cho nhà phát triển của trình duyệt (tab Mạng → Phản hồi tài liệu → Tiêu đề). Mở robots.txt tại ваш-домен/robots.txt —tìm các quy tắc Disallow khớp với phần đầu của địa chỉ trang. Công cụ sẽ làm tất cả điều này cho bạn, nhưng biết nơi cần tìm sẽ hữu ích: nó giúp dễ dàng xác minh rằng chỉnh sửa đã thực sự được áp dụng.
Một trường hợp đặc biệt là các trang có tham số và bộ lọc: ?sort=price, ?color=red, thẻ UTM. Thông thường, những trang này không cần phải được lập chỉ mục; tốt nhất là liên kết chuẩn trỏ về phiên bản chính. Nếu bạn kiểm tra URL như vậy và thấy "không được lập chỉ mục" với liên kết chuẩn trỏ về danh mục, thì mọi thứ đang hoạt động như mong muốn.
Sau khi các vấn đề kỹ thuật được giải quyết, bạn có thể đẩy nhanh quá trình: gửi URL trang web đã được xác minh của bạn để lập chỉ mục lại bằng công cụ kiểm tra URL trong Search Console. Tuy nhiên, đây chỉ là yêu cầu, không phải là sự đảm bảo: các trang mới có thể mất vài ngày đến vài tuần để được lập chỉ mục.
So sánh: Kiểm tra chỉ mục trang của PromoPilot và các lựa chọn thay thế
| Dụng cụ | Cái gì là miễn phí? | Hạn chế | Sản phẩm này phù hợp với đối tượng nào? |
|---|---|---|---|
| PromoPilot — Công cụ kiểm tra chỉ mục trang | Thông tin lập chỉ mục + Chẩn đoán: noindex, X-Robots-Tag, robots.txt, canonical, sitemap | Tín hiệu giao thông công cộng, giới hạn kiểm tra hàng ngày | Bất kỳ trang nào, kể cả trang của người khác, mà không có quyền truy cập vào Search Console. |
| Công cụ kiểm tra URL trong Search Console | Trạng thái lập chỉ mục chính xác, yêu cầu lập chỉ mục lại | Chỉ dành cho trang web đã được xác minh của bạn | Đối với chủ sở hữu trang web - nguồn thông tin chính xác nhất. |
| Trang web thủ công: truy vấn trên Google | Xem nhanh kết quả | Nếu không chẩn đoán được nguyên nhân, kết quả có thể không chính xác. | Ước tính đầu tiên |
| Công cụ tìm kiếm SEO Screaming Frog | Khả năng lập chỉ mục trang trong quá trình thu thập dữ liệu | Hiển thị các lệnh cấm nhưng không hiển thị sự hiện diện Google; cần cài đặt. | Kiểm tra chặn trang web hàng loạt |
Kết luận: Search Console là tiêu chuẩn đánh giá hiệu suất trang web của bạn, nhưng bạn cần có quyền truy cập vào nó. Kiểm tra trực tuyến rất tiện lợi khi không thể truy cập trực tiếp (ví dụ: trên trang web của khách hàng, dự án cũ hoặc trang của đối thủ cạnh tranh) hoặc khi bạn cần nhanh chóng xác định xem có sự cố kỹ thuật nào không.
PromoPilot có thêm 87 công cụ SEO miễn phí khác. Nếu bạn đang hỏi về toàn bộ trang web của mình, chứ không chỉ một trang duy nhất—ví dụ như số trang mà tên miền đó xếp hạng trên Google và tỷ lệ phần trăm xếp hạng trong sơ đồ trang web—thì có một công cụ kiểm tra lập chỉ mục trang web riêng biệt dành cho việc đó, được đề cập trong bài viết tiếp theo của phần này. Công cụ phân tích robots.txt giúp bạn hiểu các quy tắc robots.txt.
Những hạn chế của việc kiểm tra chỉ mục trang?
Công cụ này sử dụng các tín hiệu công khai và không thay thế dữ liệu từ công cụ kiểm tra URL trong Search Console: chỉ chủ sở hữu trang web mới có thể xem trạng thái chính xác và lý do Google loại trừ.
Các biện pháp chặn bot tạm thời—bảo vệ DDoS, CAPTCHA và giới hạn tốc độ—có thể ảnh hưởng đến độ chính xác: nếu công cụ không thể mở một trang, kết quả meta robots và canonical sẽ không đầy đủ. Ngoài ra, một trang gần đây có thể đã được lập chỉ mục, nhưng truy vấn site: không hiển thị ngay lập tức. Nếu kết quả là "chưa được lập chỉ mục" và không có biện pháp chặn nào, hãy kiểm tra lại sau vài ngày.
Cuối cùng, công cụ này kiểm tra trang từ bên ngoài và không biết Google đã đánh giá chất lượng của trang như thế nào. Trạng thái "Đã được thu thập thông tin, nhưng chưa được lập chỉ mục" chỉ hiển thị trong Search Console — và vấn đề này không được giải quyết bằng mã nguồn, mà bằng nội dung của trang.
Khi nào thì một công cụ miễn phí không còn đủ?
Một trang bị thiếu thuộc tính noindex chỉ mất năm phút để xử lý. Nhưng mọi việc có thể phức tạp hơn. Bạn cần một chuyên gia nếu:
- Hàng chục trang không được lập chỉ mục và không có quy định cấm nào rõ ràng;
- Các tệp canonical, noindex hoặc robots.txt được tạo ra bởi một plugin hoặc mẫu và được "trả về" sau khi chỉnh sửa;
- Sau khi chuyển địa điểm, các trang đã bị xóa khỏi mục lục và các trang mới không xuất hiện;
- Các trang này xuất hiện trong chỉ mục, nhưng Google lại chọn một địa chỉ khác làm địa chỉ chuẩn.
Tôi có thể làm gì cho trang web của bạn?
Tôi tên là Valeriy Danyuk, tôi là một nhà phát triển phần mềm và chuyên gia SEO với 12 năm kinh nghiệm và hơn 200 khách hàng. Các vấn đề về lập chỉ mục là một trong những lý do phổ biến nhất khiến mọi người tìm đến tôi.
SEO và quảng bá
- Dịch vụ kiểm tra SEO trọn gói: Tôi sẽ tìm ra lý do tại sao các trang không được lập chỉ mục và sửa lỗi mẫu, robots.txt, canonical và sitemap.
- Nội dung được lập chỉ mục ngay lập tức: một blog tự động được hỗ trợ bởi các tác nhân AI xuất bản các bài viết với định dạng và sơ đồ trang web chính xác.
- Lập chỉ mục các phiên bản ngôn ngữ - trong một phân tích về cách tạo một trang web đa ngôn ngữ mà không cần người dịch.
Trang web và cửa hàng trực tuyến
- Trang đích cho một sản phẩm mới được ra mắt chỉ sau một đêm — mở để lập chỉ mục ngay từ phút đầu tiên.
- Tạo một trang web theo phong cách trang web yêu thích của bạn chỉ trong vài phút tại 1001site: việc hiển thị phía máy chủ, sơ đồ trang web và mã HTML được cấu hình tự động.
- Chuyển đổi cửa hàng từ Instagram sang website – sử dụng thẻ tìm kiếm từ Google.
CRM, kế toán và tự động hóa
Hãy gửi cho tôi địa chỉ của một trang web không xuất hiện trong kết quả tìm kiếm của Google qua Telegram - tôi sẽ cho bạn biết nguyên nhân nằm ở đâu.
Kết quả
- Kiểm tra việc trang web có được lập chỉ mục hay không sẽ trả lời hai câu hỏi: liệu URL đó có xuất hiện trên Google hay không và điều gì đang ngăn cản nó xuất hiện trên Google.
- Các lý do theo tần suất: noindex (trong mã hoặc tiêu đề), robots.txt, canonical trỏ đến địa chỉ của người khác, trang mồ côi không có sơ đồ trang web và liên kết.
- Sau khi khắc phục sự cố, hãy gửi URL để lập chỉ mục lại trong Search Console và kiểm tra lại sau vài ngày.
- Nếu hàng chục trang không được lập chỉ mục, cần phải tiến hành kiểm tra, và việc xây dựng lại một trang web cũ với các mẫu phức tạp đôi khi dễ dàng hơn trên 1001site.
Hãy kiểm tra trang đã "biến mất" khỏi kết quả tìm kiếm — kết quả và lý do sẽ xuất hiện trong vòng chưa đầy một phút.
Nguồn
- Trang công cụ "Kiểm tra lập chỉ mục trang" của PromoPilot — danh sách các bước kiểm tra, ví dụ và hạn chế.
- Trợ giúp Google Search Console - Công cụ kiểm tra URL.
- Google Search Central - Chặn lập chỉ mục bằng lệnh noindex.
- Google Search Central - URL chuẩn và các trang trùng lặp.
