Penjana robots.txt dalam talian: cara mencipta fail yang betul dalam 5 minit tanpa ralat

Jawapan ringkas: untuk mencipta fail robots.txt dalam talian, buka penjana PromoPilot robots.txt, pilih pratetap (Tersuai, Benarkan semua, Tolak semua, WordPress, Laravel atau Next.js), masukkan laluan untuk Tidak Benarkan dan Benarkan, masukkan alamat laman web untuk baris Peta Laman dan secara pilihan tandakan Kelewatan rabakan atau sekat perayap AI. Fail yang telah lengkap akan muncul di sebelah kanan—anda boleh menyalinnya atau memuat turunnya. Ia percuma dan tidak memerlukan pendaftaran.

Saya menulis robots.txt untuk setiap laman web baharu dan tahu betapa mudahnya untuk membuat kesilapan secara manual: ruang tambahan, garis miring yang terlupa, peraturan di luar blok. Pembina robots.txt menghapuskan masalah ini—anda memikirkan tentang apa yang hendak ditutup, bukan sintaksnya. Di bawah, kami akan menerangkan cara menggunakannya, apa yang hendak ditutup dan di mana hendak meletakkan fail yang telah siap.

Apakah fungsi penjana robots.txt?

Penjana tersebut merupakan satu borang dan bukannya editor teks. Anda memilih tetapan dan alat tersebut akan menyusunnya menjadi fail yang sah dan memaparkannya dalam pratonton langsung.

Adalah penting untuk memahami batasannya: penjana mencipta fail, tetapi ia tidak menyemak fail sedia ada. Jika anda sudah mempunyai fail robots.txt dan ingin mencari ralat di dalamnya, anda perlu menganalisis fail robots.txt—artikel dalam bahagian seterusnya dikhaskan untuk perkara ini.

Bagaimana untuk mencipta robots.txt dalam talian?

1. Buka penjana robots.txt.
2. Pilih pratetap untuk enjin anda. Jika enjin anda tidak disenaraikan, pilih "Tersuai".
3. Masukkan alamat laman web — https://example.com. Ini akan mencipta baris Sitemap.
4. Tambah laluan Tidak Benarkan, satu setiap baris: /admin/, /tmp/, /search/.
5. Jika perlu, tambahkan Benarkan pengecualian di dalam folder terhad, seperti /uploads/images/.
6. Tandakan kotak: Peta Laman, Kelewatan Perayapan, sekat perayap AI.
7. Salin atau muat turun fail dan muat naik ke root tapak.

Di sebelah kiri halaman terdapat tetapan, dan di sebelah kanan terdapat pratonton langsung fail dengan butang "Salin" dan "Muat turun robots.txt".

Fail tersebut mesti terletak betul-betul di root domain: https://example.com/robots.txt. Robot tidak akan menemuinya dalam folder /blog/robots.txt atau pada subdomain lain—setiap subdomain mempunyai fail robots.txtnya sendiri.

Di mana tepatnya untuk memuat naik fail yang dimuat turun bergantung pada platform:

• Pengehosan biasa - melalui pengurus fail panel atau FTP ke folder tempat halaman utama berada (selalunya public_html atau www).
• WordPress — jika tiada fail fizikal, enjin akan menyediakan fail robots.txt maya. Muat naik fail ke root akan menggantikannya; pilihan kedua ialah menggunakan editor fail dalam pemalam SEO.
• Next.js dan rangka kerja lain —fail diletakkan dalam folder public atau dijana daripada kod projek supaya ia tidak hilang semasa penggunaan seterusnya.
• Pembina laman web - fail biasanya diedit dalam tetapan SEO dan bukannya dimuat naik secara manual.

Fail tersebut mesti dinamakan robots.txt dalam huruf kecil dan disimpan dalam pengekodan UTF-8 sebagai teks biasa. Selepas memuat turun, bukanya dalam pelayar anda: jika anda melihat teks anda, semuanya telah tersedia.

Apakah yang sepatutnya dan tidak sepatutnya ditutup dalam robots.txt?

Prinsip utama: tutup apa-apa sahaja yang tidak menambah nilai kepada carian dan membuang masa robot. Jangan tutup apa-apa sahaja yang penting untuk robot memahami halaman tersebut.

Biasanya ditutup:

• panel pentadbir dan akaun peribadi: /admin/, /wp-admin/, /account/;
• troli dan pembayaran: /cart/, /checkout/;
• carian dalaman: /search/, /?s=;
• perkhidmatan dan folder sementara: /tmp/, /cgi-bin/;
• Kombinasi penapis dan pilihan pengisihan yang tidak berkesudahan - kemas, hanya jika terdapat halaman pendaratan berasingan untuk penapis yang diperlukan.

Jangan sekali-kali tutup:

• CSS, JavaScript dan imej—tanpanya, Google tidak akan melihat halaman seperti manusia;
• katalog, blog, kad produk dan halaman pendaratan;
• halaman yang anda ingin alih keluar daripada indeks - untuk ini anda memerlukan noindex, dan robot mesti dapat membacanya.

Berikut ialah fail yang akan anda dapat untuk kedai WordPress biasa dengan WooCommerce:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=

Sitemap: https://example.com/sitemap.xml

Berkenaan bendera. Google tidak mengambil kira kelewatan perayapan —hanya aktifkannya jika pelayan anda mengalami masalah bot lain. Menyekat perayap AI adalah keputusan perniagaan: jika anda mahu ChatGPT, Gemini dan Perplexity mengetahui tentang anda dan mengesyorkan anda, jangan sekat akses mereka.

Satu lagi perkara praktikal ialah versi ujian laman web ini. Untuk salinan pementasan, gunakan pratetap "Tolak Semua", tetapi pastikan anda menggantikan fail tersebut semasa pelancaran: Disallow: / yang terlupa ialah yang paling kerap mengurangkan trafik ke laman web baharu.

Perbandingan: Penjana PromoPilot dan Cara Lain untuk Mencipta Robots.txt

Kesimpulan: Penjana adalah cara terpantas untuk mendapatkan fail yang sah tanpa mengetahui sintaksnya. Plugin dan kod projek adalah mudah apabila fail perlu diubah bersama-sama dengan laman web.

Penjana ini merupakan salah satu daripada 87 alat SEO percuma PromoPilot. Selepas memuat turun fail, semaknya dengan penganalisis robots.txt dan untuk baris peta laman, gunakan penjana peta laman.xml—kedua-duanya dibincangkan dalam artikel bersebelahan dalam bahagian ini.

Had Penjana: Apa yang Tidak Akan Dilakukan untuk Anda

Penjana tidak mengetahui struktur laman web anda. Pratetap WordPress akan menutup laluan perkhidmatan biasa, tetapi ia tidak akan meneka bahawa penapis kedai anda berada dalam /filter/ dan carian dalaman dalam /find/. Anda perlu memasukkan laluan ini sendiri.

Ia tidak memuat naik fail ke pelayan atau menyemak sama ada fail tersebut boleh diakses di /robots.txt dengan kod status 200. Selepas memuat naik, buka alamat dalam pelayar atau jalankannya melalui parser.

Dan ia tidak menggantikan noindex: jika matlamatnya adalah untuk mengalih keluar halaman daripada hasil carian, robots.txt tidak sesuai. Akhir sekali, fail tersebut tidak melindungi data anda: ia awam dan sesiapa sahaja boleh membaca bahagian yang telah anda kunci. Rahsia tersembunyi di sebalik kata laluan.

Bilakah alat percuma tidak mencukupi?

Menjana fail mengambil masa lima minit. Memutuskan apa yang hendak dikunci pada tapak yang mempunyai beribu-ribu halaman adalah banyak kerja. Anda memerlukan pakar jika:

• Kedai itu mempunyai beratus-ratus kombinasi penapis, dan sebahagian daripadanya menjana trafik;
• laman web ini berbilang bahasa, pada subdomain atau dengan folder berasingan untuk bahasa;
• Selepas mengedit robots.txt, trafik menurun, dan tidak jelas peraturan mana yang harus dipersalahkan;
• Anda perlu menyelaraskan robots.txt, meta tag, kanonik dan peta laman ke dalam satu sistem.

Apa yang boleh saya lakukan untuk laman web anda?

Nama saya Valeriy Danyuk, saya seorang pembangun dan pakar SEO dengan 12 tahun pengalaman dan lebih 200 pelanggan. Fail robots.txt yang betul adalah sebahagian daripada setiap laman web yang saya bina.

SEO dan promosi

• Audit SEO siap guna: robots.txt, noindex, kanonik dan peta laman sebagai sistem bersatu, bukan satu set peraturan rawak.
• Blog SEO berkuasa AI yang membawa bakal pelanggan organik.
• Laman web berbilang bahasa tanpa penterjemah — yang mana robots.txt dan sitemap mesti mengambil kira semua bahasa.

Laman web dan kedai dalam talian

• Kedai dalam talian WooCommerce: 40+ templat, €299 — dengan robots.txt untuk troli, penapis dan pembayaran.
• Sebuah laman web di 1001site, di mana peta laman dan pengindeksan dikonfigurasikan secara automatik. Apakah perbezaannya dengan pembina dengan yuran langganan? Analisis laman web Tilda vs. berkuasa AI.

CRM, perakaunan dan automasi

• Sistem perakaunan bulanan untuk kedai dalam talian – satu projek untuk sebuah syarikat dari Republik Czech.
• QuestFlow ialah pembina SaaS Telegram dengan AI.

Lebih banyak lagi dalam portfolio. Tidak pasti apa yang hendak diliputi? Hantarkan alamat laman web anda kepada saya di Telegram – saya akan cadangkan peraturan untuk struktur anda.

Keputusan

1. Penjana robots.txt dalam talian mencipta fail yang betul dalam masa lima minit: pratetap, laluan, peta laman, bendera.
2. Tutup panel pentadbir, tong kitar semula, folder carian dan perkhidmatan; jangan tutup CSS, JS, katalog atau blog.
3. robots.txt tidak mengalih keluar halaman daripada indeks - inilah tujuan noindex.
4. Struktur, penapis dan bahasa yang kompleks adalah sebab untuk mempercayakan persediaan kepada pakar atau membina laman web di 1001site, di mana pengindeksan dikonfigurasikan secara langsung.

Cipta fail robots.txt anda sendiri sekarang menggunakan penjana robots.txt percuma, dan jika anda mempunyai sebarang soalan tentang peraturan, tulis kepada saya di Telegram.

Sumber

• Halaman alat Penjana robots.txt PromoPilot — tetapan, pratetap dan soalan halaman.
• Pusat Carian Google - Cara Mencipta dan Menghantar Fail Robots.txt.
• Dokumentasi Next.js - fail metadata robot.