Trumpas atsakymas: norėdami sukurti robots.txt failą internete, atidarykite „PromoPilot“ robots.txt generatorių, pasirinkite išankstinį nustatymą („Custom“, „Allow all“, „Deny all“, WordPress, „Laravel“ arba Next.js “), įveskite kelius „Disallow“ ir „Allow“, įveskite svetainės adresą eilutėje „Svetainės planas“ ir pasirinktinai pažymėkite „Crawl-delay“ arba „block AI crawlers“. Užbaigtas failas bus rodomas dešinėje – galite jį nukopijuoti arba atsisiųsti. Jis nemokamas ir nereikalauja registracijos.
Rašau robots.txt failą kiekvienai naujai svetainei ir žinau, kaip lengva rankiniu būdu padaryti klaidų: papildomas tarpas, pamirštas pasvirasis brūkšnys, taisyklė už bloko ribų. „robots.txt“ kūrimo priemonė pašalina šią problemą – jūs galvojate apie tai, ką uždaryti, o ne apie sintaksę. Toliau paaiškinsime, kaip ją naudoti, ką uždaryti ir kur įdėti baigtą failą.
Ką veikia robots.txt generatorius?
Generatorius yra forma, o ne teksto redaktorius. Jūs pasirenkate nustatymus, o įrankis juos sujungia į galiojantį failą ir rodo jį tiesioginėje peržiūroje.
| Įkūrimas | Kas nustato | Kodėl svetainei to reikia? |
|---|---|---|
| Iš anksto nustatytas | Pasirinktinis, Leisti viską, Atmesti viską, WordPress, Laravel, Next.js | Paruoštas atspirties taškas jūsų varikliui |
| Svetainės URL | Sitemap eilutės adresas adresas | Robotai patys randa svetainės žemėlapį |
| Neleistini keliai | Nenuskaitomos sekcijos, po vieną eilutėje | Robotas negaišta laiko administratoriaus skydelyje ir paslaugų puslapiuose. |
| Leisti kelius | Išimtys uždarose zonose | Atidarykite norimą failą uždarytame aplanke |
| Šliaužimo uždelsimas (10 sek.) | Pauzė tarp roboto užklausų | Sumažina silpno serverio apkrovą robotams, kurie tai atsižvelgia |
| Dirbtinio intelekto robotų blokavimas | Uždrausta GPTBot, Claude ir kitiems dirbtinio intelekto robotams | Kontroliuokite, kas naudoja jūsų turinį |
| Peržiūrėti, kopijuoti, atsisiųsti | Užbaigtas robots.txt failas | Galite iš karto įkelti į serverį. |
Svarbu suprasti apribojimą: generatorius sukuria failą, bet netikrina esamo. Jei jau turite robots.txt failą ir norite jame rasti klaidų, turite išanalizuoti robots.txt failą – tam skirtas straipsnis kitame skyriuje.
Kaip sukurti robots.txt failą internete?
- Atidarykite robots.txt generatorių.
- Pasirinkite savo variklio išankstinį nustatymą. Jei jūsų variklio sąraše nėra, pasirinkite „Pasirinktinis“.
- Įveskite svetainės adresą –
https://example.com. Tai sukursSitemapeilutę. - Pridėkite „Diallow paths“ (neleistinų kelių), po vieną eilutėje:
/admin/,/tmp/,/search/. - Jei reikia, pridėkite „Leisti išimtis“ apribotuose aplankuose, pvz.,
/uploads/images/. - Pažymėkite langelius: Svetainės struktūra, Nuskaitymo delsa, Blokuoti dirbtinio intelekto nuskaitymo robotus.
- Nukopijuokite arba atsisiųskite failą ir įkelkite jį į svetainės šakninį katalogą.
Kairėje puslapio pusėje yra nustatymai, o dešinėje – tiesioginė failo peržiūra su mygtukais „Kopijuoti“ ir „Atsisiųsti robots.txt“.
Failas turi būti griežtai domeno šakniniame kataloge: https://example.com/robots.txt. Robotai jo neras aplanke /blog/robots.txt ar kitame subdomene – kiekvienas subdomenas turi savo robots.txt failą.
Kur tiksliai įkelti atsisiųstą failą, priklauso nuo platformos:
- Įprastas talpinimas – per skydelio failų tvarkyklę arba FTP į aplanką, kuriame yra pagrindinis puslapis (dažnai
public_htmlarbawww). - WordPress – jei fizinio failo nėra, paieškos sistema pateikia virtualų robots.txt failą. Įkėlus failą į šakninį katalogą, jis pakeičiamas; antras variantas – naudoti SEO įskiepio failų redaktorių.
- Next.js ir kitose sistemose failas patalpinamas
publicaplanke arba sugeneruojamas iš projekto kodo, kad nepasimestų kito diegimo metu. - Svetainių kūrimo priemonės – failas paprastai redaguojamas SEO nustatymuose, o ne įkeliamas rankiniu būdu.
Failas turi būti pavadintas robots.txt mažosiomis raidėmis ir išsaugotas UTF-8 koduote kaip paprastas tekstas. Atsisiuntę atidarykite jį naršyklėje: jei matote savo tekstą, viskas yra savo vietose.
Kas turėtų ir ko neturėtų būti uždaryta robots.txt faile?
Pagrindinis principas: uždarykite viską, kas neteikia vertės paieškai ir švaisto roboto laiką. Neuždarykite nieko, kas yra būtina, kad robotas suprastų puslapį.
Paprastai uždaryta:
- administratoriaus skydelis ir asmeninė paskyra:
/admin/,/wp-admin/,/account/; - krepšelis ir atsiskaitymas:
/cart/,/checkout/; - vidinė paieška:
/search/,/?s=; - paslaugų ir laikini aplankai:
/tmp/,/cgi-bin/; - Begaliniai filtrų ir rūšiavimo parinkčių deriniai – tvarkinga, tik jei reikiamiems filtrams yra atskiri nukreipimo puslapiai.
Niekada neuždarykite:
- CSS, „JavaScript“ ir vaizdai – be jų Google nematys puslapio taip, kaip matytų žmogus;
- katalogas, tinklaraštis, produktų kortelės ir nukreipimo puslapiai;
- puslapiai, kuriuos norite pašalinti iš indekso – tam jums reikia
noindex, o robotas turi galėti jį perskaityti.
Štai failas, kurį gausite įprastai WordPress parduotuvei su WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Dėl žymų. Google neatsižvelgia į nuskaitymo vėlavimą – įjunkite jį tik tuo atveju, jei jūsų serveryje yra kitų robotų. Dirbtinio intelekto nuskaitytuvų blokavimas yra verslo sprendimas: jei norite, kad ChatGPT, Gemini ir „Perplexity“ žinotų apie jus ir jus rekomenduotų, neblokuokite jų prieigos.
Kitas praktinis aspektas – svetainės bandomoji versija. Bandomajai versijai naudokite iš anksto nustatytą nustatymą „Deny All“ (Atmesti viską), tačiau paleidimo metu būtinai pakeiskite failą: pamirštas Disallow: / dažniausiai sumažina srautą į naujas svetaines.
Palyginimas: „PromoPilot“ generatorius ir kiti „Robots.txt“ kūrimo būdai
| Kelias | Kas yra nemokama? | Apribojimai | Kam tai tinka? |
|---|---|---|---|
| „PromoPilot“ – robotų.txt generatorius | Išankstiniai nustatymai, neleisti ir leisti, svetainės struktūra, nuskaitymo delsa, dirbtinio intelekto robotų blokavimas, atsisiuntimas | Failą į serverį reikia įkelti patiems. | Pradedantiesiems ir visiems, kurie nenori prisiminti sintaksės |
| WordPress SEO įskiepio redaktorius (pvz., „Yoast SEO“) | Failo redagavimas tiesiai iš administratoriaus skydelio | Tik WordPress atveju sintaksę rašote patys | WordPress svetainių savininkams |
| Robots failas Next.js faile | robots.txt failas generuojamas iš projekto kodo | Reikalingas kūrėjas | Next.js projektai |
| Teksto redaktorius | Visiška laisvė | Lengva suklysti, nėra užuominų | Tiems, kurie standartą žino mintinai |
Išvada: Generatorius yra greičiausias būdas gauti galiojantį failą nežinant sintaksės. Įskiepis ir projekto kodas yra patogūs, kai failą reikia keisti kartu su svetaine.
Šis generatorius yra vienas iš 87 nemokamų „PromoPilot“ SEO įrankių. Atsisiuntę failą, patikrinkite jį naudodami robots.txt analizatorių, o svetainės schemos eilutei naudokite sitemap.xml generatorių – abu aprašyti gretimuose šio skyriaus straipsniuose.
Generatoriaus apribojimai: ko jis jums nepadarys
Generatorius nežino jūsų svetainės struktūros. WordPress išankstinė konfigūracija uždarys įprastus paslaugų kelius, bet neatspės, kad jūsų parduotuvės filtrai yra /filter/ o vidinė paieška – /find/. Šiuos kelius turėsite įvesti patys.
Jis neįkelia failo į serverį ir netikrina, ar failas pasiekiamas adresu /robots.txt su 200 būsenos kodu. Įkėlę atidarykite adresą naršyklėje arba paleiskite jį per analizatorių.
Ir tai nepakeičia noindex: jei tikslas yra pašalinti puslapius iš paieškos rezultatų, robots.txt netinka. Galiausiai, failas neapsaugo jūsų duomenų: jis yra viešas ir kiekvienas gali perskaityti, kurias skiltis užrakinote. Paslaptys slepiamos po slaptažodžiu.
Kada nepakanka nemokamo įrankio?
Failo sugeneravimas trunka penkias minutes. Nuspręsti, ką užrakinti svetainėje, kurioje yra tūkstančiai puslapių, yra daug darbo. Jums reikia specialisto, jei:
- Parduotuvėje yra šimtai filtrų derinių, o kai kurie iš jų generuoja srautą;
- svetainė yra daugiakalbė, suskirstyta į subdomenus arba turi atskirus aplankus kalboms;
- Po robots.txt failo redagavimo srautas sumažėjo ir neaišku, kuri taisyklė kalta;
- Jums reikia sujungti robots.txt, metažymas, kanoninį kodą ir svetainės žemėlapį į vieną sistemą.
Ką galiu padaryti dėl jūsų svetainės?
Mano vardas Valerijus Daniukas, esu programuotojas ir SEO specialistas, turintis 12 metų patirtį ir daugiau nei 200 klientų. Tinkamas robots.txt failas yra kiekvienos mano kuriamos svetainės dalis.
SEO ir reklama
- Pilnas SEO auditas: robots.txt, noindex, canonical ir sitemap kaip vieninga sistema, o ne atsitiktinių taisyklių rinkinys.
- Dirbtiniu intelektu paremtas SEO tinklaraštis, pritraukiantis organinius potencialius klientus.
- Daugiakalbė svetainė be vertėjo, kur robots.txt ir svetainės schema turi atsižvelgti į visas kalbas.
Svetainės ir internetinės parduotuvės
- WooCommerce internetinė parduotuvė: daugiau nei 40 šablonų, 299 € – su robots.txt krepšeliui, filtrams ir atsiskaitymui.
- Svetainė 1001site platformoje, kurioje svetainės schema ir indeksavimas konfigūruojami automatiškai. Kuo tai skiriasi nuo svetainių kūrimo priemonės su prenumeratos mokesčiu? „Tilda“ ir dirbtinio intelekto valdomos svetainės analizė.
CRM, apskaita ir automatizavimas
- Mėnesinė apskaitos sistema internetinei parduotuvei – projektas Čekijos Respublikos įmonei.
- „QuestFlow“ yra „SaaS“ kūrimo priemonė Telegram robotams su dirbtiniu intelektu.
Daugiau informacijos rasite portfelyje. Nežinote, ką aprėpti? Atsiųskite man savo svetainės adresą per Telegram – pasiūlysiu jūsų struktūros taisykles.
Rezultatas
- Internetinis robots.txt generatorius sukuria teisingą failą per penkias minutes: iš anksto nustatytus parametrus, kelius, svetainės schemą, žymas.
- Uždarykite administratoriaus skydelį, šiukšlinę, paiešką ir paslaugų aplankus; neuždarykite CSS, JS, katalogo ar tinklaraščio.
- robots.txt nepašalina puslapių iš indekso – tam ir skirtas
noindex. - Sudėtinga struktūra, filtrai ir kalbos yra priežastis patikėti sąranką specialistui arba sukurti svetainę 1001site platformoje, kur indeksavimas sukonfigūruotas iš karto.
Sukurkite savo robots.txt failą jau dabar naudodami nemokamą robots.txt generatorių, o jei turite klausimų apie taisykles, rašykite man per Telegram.
Šaltiniai
- „PromoPilot“ robots.txt generatoriaus įrankio puslapis – nustatymai, iš anksto nustatyti parametrai ir puslapio klausimai.
- Google Search Central“ – kaip sukurti ir pateikti failą „Robots.txt“.
- Next.js dokumentacija – robotų metaduomenų failas.
