Memeriksa robots.txt secara online: cara menemukan kesalahan yang menyembunyikan situs Anda dari mesin pencari

Jawaban singkatnya: untuk memeriksa robots.txt secara online, masukkan domain Anda ke dalam alat Analisis robots.txt PromoPilot dan klik "Analisis". Alat ini akan secara otomatis mengunduh file, menganalisis semua arahan (Izinkan, Tolak, Tunda Perayapan, Peta Situs), menampilkan blok User-Agent dan robot yang ditargetkannya, menemukan kesalahan sintaks dan aturan yang berisiko, memeriksa ketersediaan URL penting, dan memberikan rekomendasi. Ini gratis dan tidak memerlukan pendaftaran.

Baris paling mahal yang pernah saya temukan di file robots.txt orang lain adalah " Disallow: /," sisa dari tahap pengembangan. Situs diluncurkan, iklan dibayar, tetapi lalu lintas organik tetap nol selama tiga minggu karena robot diblokir untuk mengunjungi semua halaman.

Apa yang diperiksa oleh analisis robots.txt?

Robots.txt adalah file teks pendek di direktori utama situs web, tetapi mudah untuk membuat kesalahan: satu garis miring tambahan dapat mengubah arti suatu aturan. Alat ini membaca file tersebut dengan cara yang sama seperti robot pencari.

Contoh hasil dari deskripsi alat: "Ditemukan 2 aturan Disallow yang berpotensi berisiko dan 1 arahan Sitemap yang hilang." Temuan-temuan seperti inilah yang perlu mendapat perhatian khusus.

Bagaimana cara memeriksa file robots.txt secara online?

1. Buka alatnya. Analisis Robots.txt berfungsi di browser.
2. Masukkan domain: https://example.com. File akan diunduh secara otomatis ke /robots.txt.
3. Klik "Analisis".
4. Tinjau daftar arahan untuk blok User-agent.
5. Menganalisis kesalahan dan aturan yang berisiko - inilah hal utama dalam laporan tersebut.
6. Perbaiki file di server atau di pengaturan CMS dan jalankan pemeriksaan lagi.

Halaman alat: kolom alamat, tombol "Analisis", dan deskripsi—apa yang diperiksa, skenario, dan keterbatasan.

Periksa file robots.txt dalam dua situasi penting: sebelum meluncurkan versi baru situs Anda dan setelah melakukan migrasi. Pada saat inilah pembatasan pengujian kemungkinan besar akan berpindah ke versi produksi. Memeriksa file robots.txt pesaing Anda juga bermanfaat: bagian yang dibatasi menunjukkan halaman mana yang mereka anggap sebagai halaman layanan dan bagaimana struktur direktori mereka.

Bagaimana cara membaca hasilnya dan apa yang perlu dikoreksi terlebih dahulu?

Beralihlah dari aturan yang mencakup seluruh situs ke aspek kosmetik.

1. Disallow: / di blok User-agent: *. Seluruh situs ditutup. Jika ini bukan versi uji coba, segera hapus baris ini.
2. Bagian-bagian penting ditutup. Disallow: /catalog menutup tidak hanya direktori tetapi juga apa pun yang dimulai dengan karakter-karakter ini, seperti /catalog-sale/. Aturan-aturan tersebut didasarkan pada awal jalur, dan huruf besar/kecil berpengaruh.
3. CSS, JS, dan gambar diblokir. Aturan seperti Disallow: /wp-content/ mencegah Google melihat halaman tersebut seperti yang dilihat manusia. Perayap harus memuat gaya dan skrip.
4. Tidak ada baris sitemap atau mengarah ke error 404. Harap berikan alamat sitemap lengkap beserta protokolnya.
5. Sintaksis. Kesalahan ketik pada nama arahan, aturan di luar blok User-Agent, dan baris kosong di dalam blok—robot mengabaikan baris yang tidak valid, dan aturan tersebut gagal tanpa pemberitahuan.
6. Direktif yang tidak didukung Google. Google mengabaikan Crawl-delay, dan Google tidak mendukung Noindex di robots.txt. Jika Anda mengandalkan hal-hal tersebut, aturan ini tidak berlaku.

Berikut contoh file yang benar untuk situs WordPress:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Panel admin, pencarian internal, dan halaman utilitas toko ditutup, penangan AJAX (tanpanya sebagian situs akan rusak) diaktifkan, dan peta situs ditentukan. Semua hal lainnya diaktifkan secara default.

Bagaimana Anda tahu apakah URL tertentu terbuka jika ada beberapa aturan? Google menerapkan aturan yang paling spesifik—aturan dengan jalur terpanjang. Jika sebuah file berisi Disallow: /blog/ dan Allow: /blog/seo/, maka halaman /blog/seo/proverka/ akan terbuka, dan /blog/news/ akan tertutup. Jika panjang jalurnya sama, aturan Allow akan menang. Tanda bintang * mewakili urutan karakter apa pun, dan $ menandai akhir URL: Disallow: /*.pdf$ menutup semua file PDF, tetapi tidak menutup halaman /pdf-guide/.

Temuan umum lainnya adalah adanya beberapa blok untuk robot yang sama, atau blok umum yang tumpang tindih dengan blok terpisah. Jika sebuah file berisi User-agent: Google bot, Google bot hanya membaca blok ini dan sepenuhnya mengabaikan aturan dalam User-agent: *. Oleh karena itu, semua pembatasan yang diperlukan harus diduplikasi dalam blok tersebut.

Topik terpisah untuk tahun 2026 adalah perayap AI. Blok User-agent: GPTBot dengan Disallow: / mencegah OpenAI merayap situs tersebut. Ini adalah keputusan Anda, tetapi perlu diingat: jika sebuah situs tertutup bagi bot AI, akan lebih sulit bagi asisten untuk merekomendasikannya.

Perbandingan: Analisis robots.txt PromoPilot dan alternatifnya

Kesimpulan: Search Console menunjukkan bagaimana Google melihat file tersebut, tetapi hanya untuk situs Anda. Analisis online berfungsi dengan domain apa pun dan menjelaskan apa yang salah.

Analisis robots.txt adalah salah satu dari 87 alat SEO gratis PromoPilot. Jika Anda tidak memiliki file robots.txt atau lebih mudah untuk menulis ulang dari awal, lihat artikel terkait di bagian generator robots.txt—di sana Anda akan menemukan pembuat visual untuk membuat file tersebut. Dan untuk memeriksa sitemap itu sendiri, ada alat analisis sitemap.xml terpisah.

Keterbatasan: Apa yang tidak akan digantikan oleh pemeriksaan robots.txt?

Alat ini hanya memeriksa file robots.txt dan tidak menggantikan audit tag meta robots tingkat halaman. Sebuah halaman mungkin terbuka di robots.txt tetapi diblokir oleh tag meta noindex atau header X-Robots-Tag. Pembatasan tersebut harus dideteksi dengan melakukan pemeriksaan halaman atau audit lengkap.

Mesin pencari yang berbeda menafsirkan arahan non-standar secara berbeda. Apa yang didukung oleh satu mesin pencari, akan diabaikan secara diam-diam oleh mesin pencari lainnya. Andalkan Sitemap User-agent, Allow, Disallow dan Sitemap standar —semua mesin pencari utama memahaminya.

Dan ingat: robots.txt bukanlah pengamanan. File ini dengan sopan meminta robot untuk tidak masuk, tetapi tidak memblokir akses. Panel admin dan data pribadi dilindungi dengan kata sandi, bukan baris "Disallow". Selain itu, robots.txt terbuka untuk semua orang: dengan mencantumkan bagian "rahasia" di dalamnya, Anda mengeksposnya kepada orang-orang yang ingin tahu.

Kapan alat gratis tidak cukup?

Menemukan aturan yang berisiko adalah separuh dari perjuangan. Memutuskan bagian mana yang harus ditutup sudah merupakan sebuah strategi. Anda membutuhkan spesialis jika:

• Toko tersebut memiliki ribuan halaman filter dan opsi pengurutan, dan tidak jelas mana yang harus ditutup;
• Situs tersebut hilang dari hasil pencarian, tetapi robots.txt "tampaknya baik-baik saja";
• File robots.txt dihasilkan oleh CMS atau plugin, dan perubahan yang Anda buat akan ditimpa;
• Kita perlu memutuskan apakah akan mengaktifkan perayap AI dan bagaimana hal ini akan memengaruhi visibilitas pada asisten.

Apa yang bisa saya lakukan untuk situs web Anda?

Nama saya Valeriy Danyuk, dan saya seorang pengembang dan spesialis SEO dengan pengalaman 12 tahun dan lebih dari 200 klien. Robots.txt, meta tag, dan sitemap adalah hal pertama yang saya periksa dalam setiap audit.

SEO dan promosi

• Audit SEO lengkap: robots.txt, noindex, canonical, sitemap, dan pengindeksan sebenarnya—beserta koreksinya.
• Autoblog dengan agen AI adalah tim editorial tanpa campur tangan manusia yang menerbitkan artikel dan langsung membukanya untuk diindeks.
• GEO: Bagaimana Sebuah Hotel Mendapatkan Sorotan di ChatGPT, Gemini, dan Perplexity — Studi Kasus tentang Visibilitas dalam Respons Asisten AI.

Situs web dan toko online

• Sebuah situs web WordPress dengan asisten AI seharga €299 —dengan file robots.txt dan sitemap yang tepat sejak hari pertama.
• Situs web di 1001site: peta situs, data terstruktur, dan pengindeksan bot AI dikonfigurasi secara otomatis.

CRM, akuntansi, dan otomatisasi

• ERP, situs web, dan bot Telegram bertenaga AI untuk pembongkaran otomatis dalam 6 hari.
• Platform dropshipping dengan toko-toko mitra —di mana setiap toko memerlukan file robots.txt yang valid.

Semua kasus ada di portofolio. Kirimkan alamat Anda di Telegram, dan saya akan membaca file robots.txt Anda dan memberi tahu Anda jika saya telah menutup bagian yang tidak perlu.

Hasil

1. Memeriksa file robots.txt secara online hanya dalam satu menit akan mengungkapkan aturan yang menyembunyikan situs atau bagian-bagiannya dari robot.
2. Perbaiki secara berurutan: Disallow: / → bagian tertutup → CSS dan JS → Peta Situs → sintaks.
3. Perintah Disallow tidak menghapus halaman dari indeks; ini memerlukan noindex pada halaman yang sedang dibuka.
4. Jika file robots.txt dihasilkan oleh CMS dan perubahan tidak tersimpan, akan lebih mudah untuk mempercayakan pengaturan tersebut kepada spesialis atau beralih ke 1001site, di mana pengindeksan dikonfigurasi secara otomatis.

Periksa file Anda sekarang juga: jalankan analisis robots.txt gratis, dan jika Anda menemukan aturan yang berisiko, beri tahu saya di Telegram.

Sumber

• Halaman alat analisis robots.txt PromoPilot — pemeriksaan, contoh hasil, dan pertanyaan halaman.
• Google Search Central - Pengantar tentang robots.txt dan arahan yang didukung.
• Bantuan Google Search Console - Laporan Robots.txt.