Generator robots.txt online: cara membuat file yang benar dalam 5 menit tanpa kesalahan.

Jawaban singkat: untuk membuat file robots.txt secara online, buka generator robots.txt PromoPilot, pilih preset (Kustom, Izinkan semua, Tolak semua, WordPress, Laravel, atau Next.js), masukkan jalur untuk Disallow dan Allow, masukkan alamat situs web untuk baris Sitemap, dan secara opsional centang Crawl-delay atau blokir perayap AI. File yang sudah jadi akan muncul di sebelah kanan—Anda dapat menyalinnya atau mengunduhnya. Ini gratis dan tidak memerlukan pendaftaran.

Saya menulis file robots.txt untuk setiap situs web baru dan tahu betapa mudahnya membuat kesalahan secara manual: spasi tambahan, garis miring yang terlupakan, aturan di luar blok. Pembuat robots.txt menghilangkan masalah ini—Anda hanya perlu memikirkan apa yang perlu ditutup, bukan sintaksnya. Di bawah ini, kami akan menjelaskan cara menggunakannya, apa yang perlu ditutup, dan di mana meletakkan file yang sudah jadi.

Apa fungsi dari generator robots.txt?

Generator ini berupa formulir, bukan editor teks. Anda memilih pengaturan, dan alat ini akan menyusunnya menjadi file yang valid dan menampilkannya dalam pratinjau langsung.

Penting untuk memahami keterbatasannya: generator membuat file, tetapi tidak memeriksa file yang sudah ada. Jika Anda sudah memiliki file robots.txt dan ingin menemukan kesalahan di dalamnya, Anda perlu menganalisis file robots.txt tersebut—artikel di bagian selanjutnya akan membahas hal ini.

Bagaimana cara membuat file robots.txt secara online?

1. Buka generator robots.txt.
2. Pilih preset untuk mesin Anda. Jika mesin Anda tidak terdaftar, pilih "Kustom".
3. Masukkan alamat situs web — https://example.com. Ini akan membuat baris Sitemap.
4. Tambahkan jalur Disallow, satu per baris: /admin/, /tmp/, /search/.
5. Jika perlu, tambahkan Izinkan pengecualian di dalam folder yang dibatasi, seperti /uploads/images/.
6. Centang kotak-kotak berikut: Peta situs, Penundaan perayapan, blokir perayap AI.
7. Salin atau unduh file tersebut dan unggah ke direktori utama situs.

Di sisi kiri halaman terdapat pengaturan, dan di sisi kanan terdapat pratinjau langsung file dengan tombol "Salin" dan "Unduh robots.txt".

File tersebut harus ditempatkan tepat di direktori utama domain: https://example.com/robots.txt. Robot tidak akan menemukannya di folder /blog/robots.txt atau di subdomain lain—setiap subdomain memiliki file robots.txt-nya sendiri.

Lokasi pasti untuk mengunggah file yang diunduh bergantung pada platform yang digunakan:

• Hosting reguler - melalui pengelola file panel atau FTP ke folder tempat halaman utama berada (seringkali public_html atau www).
• WordPress — jika tidak ada file fisik, mesin akan menyajikan file robots.txt virtual. Mengunggah file ke direktori root akan menggantikannya; opsi kedua adalah menggunakan editor file di plugin SEO.
• Next.js dan framework lainnya —file tersebut ditempatkan di folder public atau dihasilkan dari kode proyek sehingga tidak hilang selama deployment berikutnya.
• Pembuat situs web - file biasanya diedit di pengaturan SEO, bukan diunggah secara manual.

File tersebut harus diberi nama robots.txt dengan huruf kecil dan disimpan dalam pengkodean UTF-8 sebagai teks biasa. Setelah mengunduh, buka di browser Anda: jika Anda melihat teks Anda, semuanya sudah siap.

Apa saja yang harus dan tidak boleh ditutup di robots.txt?

Prinsip utamanya: tutup semua yang tidak menambah nilai pada pencarian dan membuang waktu robot. Jangan tutup apa pun yang penting agar robot dapat memahami halaman tersebut.

Biasanya tutup:

• Panel admin dan akun pribadi: /admin/, /wp-admin/, /account/;
• Keranjang dan pembayaran: /cart/, /checkout/;
• pencarian internal: /search/, /?s=;
• folder layanan dan sementara: /tmp/, /cgi-bin/;
• Kombinasi filter dan opsi pengurutan yang tak terbatas - rapi, hanya jika ada halaman arahan terpisah untuk filter yang dibutuhkan.

Jangan pernah ditutup:

• CSS, JavaScript, dan gambar—tanpa itu, Google tidak akan melihat halaman tersebut seperti yang dilihat manusia;
• katalog, blog, kartu produk, dan halaman arahan;
• Halaman yang ingin Anda hapus dari indeks - untuk ini Anda memerlukan noindex, dan robot harus dapat membacanya.

Berikut adalah file yang akan Anda dapatkan untuk toko WordPress standar dengan WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

Mengenai flag. Google tidak memperhitungkan penundaan perayapan —aktifkan hanya jika server Anda terganggu oleh bot lain. Memblokir perayap AI adalah keputusan bisnis: jika Anda ingin ChatGPT, Gemini, dan Perplexity mengetahui tentang Anda dan merekomendasikan Anda, jangan blokir akses mereka.

Poin praktis lainnya adalah versi uji coba situs. Untuk salinan staging, gunakan preset "Deny All", tetapi pastikan untuk mengganti file saat peluncuran: Disallow: / yang terlupakan adalah penyebab utama penurunan trafik ke situs baru.

Perbandingan: Generator PromoPilot dan Cara Lain untuk Membuat Robots.txt

Kesimpulan: Generator adalah cara tercepat untuk mendapatkan file yang valid tanpa perlu mengetahui sintaksnya. Plugin dan kode proyek sangat praktis ketika file perlu diubah seiring dengan perubahan situs web.

Generator ini adalah salah satu dari 87 alat SEO gratis milik PromoPilot. Setelah mengunduh file, periksa dengan penganalisis robots.txt, dan untuk baris sitemap, gunakan generator sitemap.xml—keduanya dibahas dalam artikel terkait di bagian ini.

Keterbatasan Generator: Apa yang Tidak Akan Bisa Dilakukannya untuk Anda

Generator ini tidak mengetahui struktur situs Anda. Preset WordPress akan menutup jalur layanan umum, tetapi tidak akan menebak bahwa filter toko Anda berada di /filter/ dan pencarian internal di /find/. Anda perlu memasukkan jalur-jalur ini sendiri.

Program ini tidak mengunggah file ke server atau memeriksa apakah file tersebut dapat diakses di /robots.txt dengan kode status 200. Setelah diunggah, buka alamat tersebut di browser atau jalankan melalui parser.

Dan itu tidak menggantikan noindex: jika tujuannya adalah untuk menghapus halaman dari hasil pencarian, robots.txt tidak cocok. Terakhir, file tersebut tidak melindungi data Anda: file tersebut bersifat publik, dan siapa pun dapat membaca bagian mana yang telah Anda kunci. Rahasia disembunyikan di balik kata sandi.

Kapan alat gratis tidak cukup?

Membuat file hanya membutuhkan waktu lima menit. Memutuskan apa yang perlu dikunci pada situs dengan ribuan halaman adalah pekerjaan yang berat. Anda membutuhkan spesialis jika:

• Toko ini memiliki ratusan kombinasi filter, dan beberapa di antaranya menghasilkan trafik;
• Situs ini multibahasa, menggunakan subdomain atau folder terpisah untuk setiap bahasa;
• Setelah mengedit robots.txt, lalu lintas menurun, dan tidak jelas aturan mana yang menjadi penyebabnya;
• Anda perlu menyelaraskan robots.txt, meta tag, canonical, dan sitemap ke dalam satu sistem.

Apa yang bisa saya lakukan untuk situs web Anda?

Nama saya Valeriy Danyuk, saya seorang pengembang dan spesialis SEO dengan pengalaman 12 tahun dan lebih dari 200 klien. File robots.txt yang benar selalu ada di setiap situs web yang saya buat.

SEO dan promosi

• Audit SEO lengkap: robots.txt, noindex, canonical, dan sitemap sebagai sistem terpadu, bukan sekumpulan aturan acak.
• Blog SEO berbasis AI yang mendatangkan prospek organik.
• Situs web multibahasa tanpa penerjemah — di mana robots.txt dan sitemap harus mempertimbangkan semua bahasa.

Situs web dan toko online

• Toko online WooCommerce: 40+ template, €299 — dengan robots.txt untuk keranjang belanja, filter, dan proses pembayaran.
• Sebuah situs web di 1001site, di mana sitemap dan pengindeksan dikonfigurasi secara otomatis. Apa perbedaannya dengan pembuat situs web berbayar? Tilda vs. analisis situs web berbasis AI.

CRM, akuntansi, dan otomatisasi

• Sistem akuntansi bulanan untuk toko online – sebuah proyek untuk perusahaan dari Republik Ceko.
• QuestFlow adalah perangkat lunak sebagai layanan (SaaS) Telegram dengan kecerdasan buatan (AI).

Informasi selengkapnya ada di portofolio. Tidak yakin apa yang perlu dibahas? Kirimkan alamat situs web Anda di Telegram – saya akan menyarankan aturan yang sesuai dengan struktur Anda.

Hasil

1. Generator robots.txt online membuat file yang benar dalam lima menit: preset, path, sitemap, flag.
2. Tutup panel admin, tempat sampah, pencarian, dan folder layanan; jangan tutup CSS, JS, katalog, atau blog.
3. robots.txt tidak menghapus halaman dari indeks - itulah fungsi dari noindex.
4. Struktur, filter, dan bahasa yang kompleks merupakan alasan untuk mempercayakan pengaturan kepada spesialis atau membangun situs di 1001site, di mana pengindeksan telah dikonfigurasi secara otomatis.

Buat file robots.txt Anda sendiri sekarang juga menggunakan generator robots.txt gratis, dan jika Anda memiliki pertanyaan tentang aturan tersebut, hubungi saya di Telegram.

Sumber

• Halaman alat Generator robots.txt PromoPilot — pengaturan, preset, dan pertanyaan halaman.
• Google Search Central - Cara Membuat dan Mengirimkan File Robots.txt.
• Dokumentasi Next.js - file metadata robots.