Jawaban singkatnya: untuk memeriksa pengindeksan halaman di Google, tempelkan alamatnya ke Pemeriksa Pengindeksan Halaman PromoPilot. Alat ini akan melakukan permintaan situs sungguhan ke Google dan memberi tahu Anda apakah URL tersebut diindeks. Jika tidak, alat ini akan memeriksa masalah apa pun, termasuk tag meta robots dan X-Robots, robots.txt yang tidak diizinkan, kanonisasi ke URL lain, atau sitemap.xml yang hilang. Kemudian akan mengembalikan kesimpulan dengan penyebab dan kemungkinan perbaikannya. Alat ini gratis dan tidak memerlukan pendaftaran. Di bawah ini adalah cara membaca kesimpulan dan apa yang harus dilakukan untuk setiap masalah.
"Halaman ini diterbitkan sebulan yang lalu, tetapi tidak muncul di Google " adalah pertanyaan paling umum yang saya terima. Separuh dari waktu, penyebabnya adalah noindex yang terlupakan, sisa dari proses pengembangan.
Apa yang diperiksa oleh pengindeksan halaman?
Alat ini menggabungkan dua hal: sebuah fakta (apakah halaman tersebut saat ini ada di Google) dan sebuah diagnosis (apakah halaman tersebut pada prinsipnya dapat masuk ke sana).
| Penyelidikan | Apa yang sedang dia lihat? | Mengapa ini perlu? |
|---|---|---|
| Ketersediaan dalam indeks | Situs sungguhan: cari URL ini di Google | Jawaban untuk pertanyaan utama: apakah Google melihat halaman tersebut? |
| robot meta | Tag <meta name="robots" content="noindex"> dalam kode | Larangan langsung terhadap pengindeksan adalah alasan yang paling umum. |
| X-Robots-Tag | Larangan yang sama, tetapi di header respons HTTP. | Hal ini tidak terlihat dalam kode halaman dan mudah terlewatkan. |
| robots.txt | Apakah alamat tersebut diblokir oleh aturan Disallow? | Robot tidak dapat merayapi halaman dan membacanya. |
| resmi | Alamat apa yang dituju oleh tautan kanonik tersebut? | Kanonik ke URL lain - Permintaan untuk mengindeks halaman yang berbeda |
| sitemap.xml | Apakah alamat tersebut tercantum di sitemap? | Tanpa peta situs dan tautan, Google mungkin tidak akan mengetahui keberadaan halaman tersebut dalam waktu yang lama. |
| Dakwaan | Ringkasan beserta alasan dan solusinya. | Apa sebenarnya yang perlu diperbaiki? |
Bagaimana cara memeriksa apakah suatu halaman sudah terindeks di Google?
- Pemeriksa Pengindeksan Halaman Terbuka.
- Salin alamat halaman lengkap, termasuk protokol dan persis seperti yang muncul di browser:
https://example.com/new-page. - Klik "Periksa pengindeksan" dan tunggu Google untuk melakukan kueri dan menganalisis faktor-faktor tersebut.
- Bacalah hasilnya: "ada dalam indeks" atau "tidak ada dalam indeks" dan daftar blok yang ditemukan.
- Singkirkan penyebabnya dan periksa lagi setelah beberapa hari.
Beginilah tampilan halaman alat tersebut: kolom alamat, penghitung cek gratis untuk hari ini, dan daftar hal-hal yang sedang dianalisis.
Contoh putusan: Halaman https://example.com/new-page diblokir dari pengindeksan karena kode tersebut berisi meta noindex, dan URL kanonik mengarah ke URL yang berbeda. Dua alasan sekaligus, dan keduanya ada di dalam template.
Mengapa halaman tersebut tidak terindeks dan apa yang harus saya perbaiki terlebih dahulu?
Pertimbangkan alasan-alasan ini secara berurutan - dari larangan langsung hingga larangan yang "lunak".
- Tambahkan `noindex` di `meta robots` atau `X-Robots-Tag`. Hapus saja. Situasi umum: selama pengembangan, opsi "sembunyikan situs dari mesin pencari" diaktifkan di CMS dan kemudian lupa dinonaktifkan. Untuk `X-Robots-Tag`, periksa pengaturan server, CDN, atau plugin SEO Anda.
- Tambahkan aturan " Disallow" di robots.txt. Aturan seperti
Disallow: /blog/akan menutup seluruh bagian tersebut. Perlu diperhatikan: jika sebuah halaman ditutup di robots.txt, Google tidak dapat membaca "noindex" di halaman tersebut. Oleh karena itu, untuk menghapusnya dari indeks, Anda memerlukan robots.txt yang terbuka dan menambahkan "noindex," dan untuk mengindeksnya kembali, cukup hapus tag "Disallow". - Kanonik mengarah ke alamat yang berbeda. Jika halaman tersebut unik, kanonik seharusnya mengarah ke halaman itu sendiri. Kesalahan seringkali terletak pada templat: semua produk dengan kanonik ke kategori, semua artikel ke halaman beranda blog.
- Halaman tersebut tidak ada di sitemap dan tidak memiliki tautan. Ini adalah halaman yatim piatu yang tidak diketahui Google. Tambahkan ke sitemap.xml Anda dan tambahkan tautan dari halaman yang sudah diindeks—dari menu, kategori, dan artikel terkait.
- Semua tombol terbuka, tetapi halamannya tidak ada. Ini berarti Google melihatnya dan memutuskan untuk tidak menyertakannya—biasanya karena kontennya tipis atau duplikat. Hanya dengan memperbaiki halaman itu sendiri yang dapat membantu.
Cara cepat menemukan blokir sendiri. Buka halaman, tekan Ctrl+U, dan cari noindex dan canonical di kode. Header X-Robots-Tag terlihat di alat pengembang browser (Tab Jaringan → Respons dokumen → Header). Buka robots.txt di ваш-домен/robots.txt —temukan aturan Disallow yang sesuai dengan awal alamat halaman. Alat ini melakukan semua ini untuk Anda, tetapi mengetahui di mana harus mencari sangat membantu: ini memudahkan untuk memverifikasi bahwa pengeditan benar-benar diterapkan.
Kasus khusus adalah halaman dengan parameter dan filter: ?sort=price, ?color=red, tag UTM. Halaman-halaman ini biasanya tidak perlu diindeks; yang terbaik adalah jika tautan kanonik mengarah ke versi utama. Jika Anda memeriksa URL tersebut dan melihat "tidak diindeks" dengan tautan kanonik yang mengarah ke kategori, semuanya berfungsi sebagaimana mestinya.
Setelah masalah teknis teratasi, Anda dapat mempercepat prosesnya: kirimkan URL situs terverifikasi Anda untuk diindeks ulang menggunakan alat inspeksi URL di Search Console. Namun, ini adalah permintaan, bukan jaminan: halaman baru dapat membutuhkan waktu beberapa hari hingga beberapa minggu untuk diindeks.
Perbandingan: Pemeriksaan Pengindeksan Halaman PromoPilot dan Alternatifnya
| Alat | Apa yang gratis? | Pembatasan | Produk ini cocok untuk siapa? |
|---|---|---|---|
| PromoPilot — Pemeriksa Pengindeksan Halaman | Fakta Pengindeksan + Diagnostik: noindex, X-Robots-Tag, robots.txt, canonical, sitemap | Sinyal publik, batas pemeriksaan harian | Halaman apa pun, termasuk halaman orang lain, tanpa akses ke Search Console. |
| Search Console - Pemeriksa URL | Status pengindeksan yang tepat, permintaan pengindeksan ulang | Hanya untuk situs terverifikasi Anda | Bagi pemilik situs web - sumber kebenaran utama |
| Situs manual: pencarian di Google | Sekilas tentang hasilnya | Tanpa mendiagnosis penyebabnya, hasilnya mungkin tidak akurat. | Perkiraan pertama |
| Screaming Frog SEO Spider | Kemampuan pengindeksan halaman selama proses perayapan. | Menampilkan daftar larangan tetapi tidak menunjukkan keberadaan Google; instalasi diperlukan. | Pemeriksaan pemblokiran situs massal |
Kesimpulan: Search Console adalah tolok ukur untuk situs web Anda, tetapi Anda perlu akses ke sana. Pengecekan online sangat praktis ketika akses tidak tersedia (misalnya, di situs klien, proyek lama, atau halaman pesaing) atau ketika Anda perlu dengan cepat menentukan apakah ada kendala teknis.
PromoPilot memiliki 87 alat SEO gratis lainnya. Jika Anda menanyakan tentang seluruh situs web Anda, bukan hanya satu halaman—berapa banyak halaman yang diranking domain tersebut di Google dan berapa persentase sitemap yang diranking—ada pengecekan pengindeksan situs terpisah untuk itu, yang akan dibahas dalam artikel berikutnya di bagian ini. Analisis robots.txt membantu Anda memahami aturan robots.txt.
Apakah ada keterbatasan pada pengindeksan halaman?
Alat ini menggunakan sinyal publik dan tidak menggantikan data dari alat inspeksi URL di Search Console: hanya pemilik situs yang dapat melihat status dan alasan pasti pengecualian Google.
Pemblokiran bot sementara—perlindungan DDoS, CAPTCHA, dan pembatasan laju—dapat memengaruhi akurasi: jika alat gagal membuka halaman, hasil meta robots dan canonical akan tidak lengkap. Selain itu, halaman terbaru mungkin sudah diindeks, tetapi kueri site: tidak langsung menampilkannya. Jika hasilnya "tidak diindeks" dan tidak ada pemblokiran, periksa lagi dalam beberapa hari.
Terakhir, alat ini memeriksa halaman dari luar dan tidak mengetahui bagaimana Google menilai kualitasnya. Status "Dirayapi, tetapi belum diindeks" hanya terlihat di Search Console—dan hal ini diatasi bukan oleh kode, melainkan oleh konten halaman.
Kapan alat gratis tidak cukup?
Satu halaman dengan indeks yang terlupakan hanya membutuhkan waktu lima menit. Namun, situasinya bisa lebih rumit. Anda membutuhkan spesialis jika:
- Puluhan halaman tidak diindeks, dan tidak ada larangan yang jelas;
- canonical, noindex atau robots.txt dihasilkan oleh plugin atau template dan "dikembalikan" setelah diedit;
- Setelah dipindahkan, halaman-halaman tersebut dihapus dari indeks dan halaman baru tidak muncul;
- halaman-halaman tersebut ada dalam indeks, tetapi Google memilih alamat yang berbeda sebagai alamat kanonik.
Apa yang bisa saya lakukan untuk situs web Anda?
Nama saya Valeriy Danyuk, dan saya seorang pengembang dan spesialis SEO dengan pengalaman 12 tahun dan lebih dari 200 klien. Masalah pengindeksan adalah salah satu alasan paling umum orang datang kepada saya.
SEO dan promosi
- Audit SEO lengkap: Saya mencari tahu mengapa halaman tidak terindeks dan memperbaiki template, robots.txt, canonical, dan sitemap.
- Konten yang langsung diindeks: sebuah autoblog yang didukung oleh agen AI menerbitkan artikel dengan markup dan sitemap yang benar.
- Pengindeksan versi bahasa - dalam analisis tentang cara membuat situs multibahasa tanpa penerjemah.
Situs web dan toko online
- Halaman arahan (landing page) untuk produk baru yang diluncurkan dalam semalam — terbuka untuk pengindeksan sejak menit pertama.
- Dapatkan situs web dengan gaya situs web favorit Anda dalam hitungan menit di 1001site: rendering server, sitemap, dan markup dikonfigurasi secara otomatis.
- Memindahkan toko dari Instagram ke situs web – dengan kartu yang ditemukan oleh Google.
CRM, akuntansi, dan otomatisasi
Kirimkan alamat halaman yang tidak terdaftar di Google melalui Telegram - saya akan memberi tahu Anda di mana harus mencari penyebabnya.
Hasil
- Memeriksa pengindeksan suatu halaman menjawab dua pertanyaan: apakah URL tersebut ada di Google dan apa yang mencegahnya untuk sampai ke sana.
- Alasan berdasarkan frekuensi: noindex (dalam kode atau header), robots.txt, canonical ke alamat orang lain, halaman yatim piatu tanpa sitemap dan tautan.
- Setelah memperbaikinya, kirimkan URL untuk pengindeksan ulang di Search Console dan periksa lagi dalam beberapa hari.
- Jika puluhan halaman tidak terindeks, audit diperlukan, dan situs lama dengan templat yang rumit terkadang lebih mudah dibangun kembali di 1001site.
Periksa halaman yang "menghilang" dari hasil pencarian —putusan beserta alasannya akan muncul dalam waktu kurang dari satu menit.
Sumber
- Halaman alat "Pemeriksaan Pengindeksan Halaman" PromoPilot — daftar pemeriksaan, contoh, dan keterbatasan.
- Bantuan Google Search Console - Alat Inspeksi URL.
- Google Search Central - Blokir pengindeksan dengan noindex.
- Google Search Central - URL Kanonik dan Halaman Duplikat.
