Lühike vastus: robots.txt faili loomiseks veebis avage PromoPiloti robots.txt generaator, valige eelseadistus (Kohandatud, Luba kõik, Keela kõik, WordPress, Laravel või Next.js), sisestage teed „Keela” ja „Luba” väljadele, sisestage veebisaidi aadress saidikaardi reale ja valikuliselt märkige ruut „Indekseerimise viivitus” või „Blokeeri tehisintellekti indekseerijad”. Valmis fail kuvatakse paremal – saate selle kopeerida või alla laadida. See on tasuta ja ei vaja registreerimist.
Kirjutan iga uue veebisaidi jaoks robots.txt faili ja tean, kui lihtne on käsitsi vigu teha: lisatühik, unustatud kaldkriips, reegel väljaspool plokki. Robots.txt koostaja kõrvaldab selle probleemi – sina mõtled sellele, mida sulgeda, mitte süntaksile. Allpool selgitame, kuidas seda kasutada, mida sulgeda ja kuhu valmis fail panna.
Mida robots.txt generaator teeb?
Generaator on pigem vorm kui tekstiredaktor. Valite sätted ja tööriist koondab need kehtivaks failiks ning kuvab selle reaalajas eelvaates.
| Seadistamine | Mis seab | Miks sait seda vajab? |
|---|---|---|
| Eelseadistus | Kohandatud, Luba kõik, Keela kõik, WordPress, Laravel, Next.js | Valmis lähtepunkt teie mootorile |
| Veebisaidi URL | Sitemap rea aadress | Robotid leiavad saidikaardi ise üles |
| Keelatud teed | Mitteskaneeritavad lõigud, üks rea kohta | Robot ei raiska aega administraatoripaneelil ja teenuste lehtedel. |
| Luba teed | Erandid suletud sektsioonides | Avage soovitud fail suletud kaustas |
| Roomamisviivitus (10 sekundit) | Paus roboti päringute vahel | Nõrga serveri koormuse leevendamine robotite jaoks, mis seda arvesse võtavad |
| AI-robotite blokeerimine | GPTBotile, Claude ja teistele tehisintellekti robotitele keeld | Kontrolli, kes sinu sisu kasutab |
| Eelvaade, kopeerimine, allalaadimine | Valmis robots.txt fail | Saate selle kohe serverisse üles laadida. |
Oluline on mõista piirangut: generaator loob faili, kuid ei kontrolli olemasolevat. Kui teil on juba robots.txt fail ja soovite selles vigu leida, peate robots.txt faili analüüsima – järgmises jaotises olev artikkel on sellele pühendatud.
Kuidas luua robots.txt faili veebis?
- Ava robots.txt generaator.
- Valige oma mootori jaoks eelseadistus. Kui teie mootorit loendis pole, valige „Kohandatud”.
- Sisestage veebisaidi aadress —
https://example.com. See loobSitemaprea. - Lisa „Keelatud teed”, üks rea kohta:
/admin/,/tmp/,/search/. - Vajadusel lisa valik „Luba erandeid” piiratud kaustadesse, näiteks
/uploads/images/. - Märkige ruudud: Saidikaart, Indekseerimise viivitus, tehisintellekti indekseerijate blokeerimine.
- Kopeeri või laadi fail alla ja laadi see üles saidi juurkausta.
Lehe vasakul küljel on seaded ja paremal on faili reaalajas eelvaade nuppudega „Kopeeri“ ja „Laadi robots.txt alla“.
Fail peab asuma rangelt domeeni juurkataloogis: https://example.com/robots.txt. Robotid ei leia seda kaustast /blog/robots.txt ega mõnelt teiselt alamdomeenilt – igal alamdomeenil on oma robots.txt fail.
Kuhu täpselt allalaaditud fail üles laadida, sõltub platvormist:
- Tavaline majutus – paneeli failihalduri või FTP kaudu kausta, kus asub avaleht (sageli
public_htmlvõiwww). - WordPress – kui füüsilist faili pole, pakub mootor virtuaalset robots.txt faili. Faili juurkataloogi üleslaadimine asendab selle; teine võimalus on kasutada SEO plugina failiredaktorit.
- Next.js ja muud raamistikud — fail paigutatakse
publickausta või genereeritakse projektikoodist, et see järgmise juurutamise ajal kaduma ei läheks. - Veebilehe koostajad – faili muudetakse tavaliselt SEO seadetes, mitte ei laadita käsitsi üles.
Faili nimi peab olema robots.txt (väiketähtedega) ja see tuleb salvestada UTF-8 kodeeringus lihttekstina. Pärast allalaadimist avage see oma brauseris: kui näete oma teksti, on kõik paigas.
Mis peaks ja mis ei peaks robots.txt failis olema suletud?
Peamine põhimõte: sulge kõik, mis otsingule väärtust ei lisa ja roboti aega raiskab. Ära sulge midagi, mis on roboti jaoks lehe mõistmiseks hädavajalik.
Tavaliselt suletud:
- administraatori paneel ja isiklik konto:
/admin/,/wp-admin/,/account/; - ostukorv ja kassasse minek:
/cart/,/checkout/; - sisemine otsing:
/search/,/?s=; - teenus ja ajutised kaustad:
/tmp/,/cgi-bin/; - Lõputud filtrite ja sortimisvalikute kombinatsioonid – lahe, kui vajalike filtrite jaoks on eraldi maandumislehed.
Ära kunagi sulge:
- CSS, JavaScript ja pildid – ilma nendeta ei näe Google lehte nii, nagu inimene seda näeks;
- kataloog, ajaveeb, tootekaardid ja maandumislehed;
- lehed, mida soovite indeksist eemaldada – selleks vajate
noindexja robot peab suutma seda lugeda.
Siin on fail, mille saate tüüpilise WordPress poe jaoks WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Lippude osas. Google ei võta indekseerimise viivitust arvesse – lubage see ainult siis, kui teie server kannatab teiste robotite all. Tehisintellektil põhinevate indekseerijate blokeerimine on äriline otsus: kui soovite, et ChatGPT, Gemini ja Perplexity teie kohta teaksid ja teid soovitaksid, ärge blokeerige nende juurdepääsu.
Teine praktiline punkt on saidi testversioon. Testversiooni jaoks kasutage eelseadistust „Keela kõik”, kuid asendage fail käivitamisel kindlasti: unustatud Disallow: / vähendab kõige sagedamini liiklust uutele saitidele.
Võrdlus: PromoPiloti generaator ja muud viisid Robots.txt loomiseks
| Tee | Mis on tasuta? | Piirangud | Kellele see sobib? |
|---|---|---|---|
| PromoPilot — Robots.txt generaator | Eelseadistused, keelamine ja lubamine, saidikaart, indekseerimise viivitus, tehisintellekti robotite blokeerimine, allalaadimine | Sa pead faili ise serverisse üles laadima. | Algajatele ja kõigile, kes ei taha süntaksit meeles pidada |
| Redaktor WordPress SEO pluginas (nt Yoast SEO) | Faili muutmine otse administraatori paneelilt | Ainult WordPress puhul kirjutate süntaksi ise | WordPress veebisaitide omanikele |
| Robots-fail Next.js is | robots.txt genereeritakse projekti koodist | Vaja on arendajat | Next.js projektid |
| Tekstiredaktor | Täielik vabadus | Lihtne vigu teha, pole vihjeid | Neile, kes teavad standardit peast |
Kokkuvõte: Generaator on kiireim viis kehtiva faili saamiseks ilma süntaksit teadmata. Plugin ja projektikood on mugavad, kui faili on vaja koos veebisaidiga muuta.
See generaator on üks PromoPiloti 87 tasuta SEO tööriistast. Pärast faili allalaadimist kontrollige seda robots.txt analüsaatoriga ja saidikaardi rea jaoks kasutage sitemap.xml generaatorit – mõlemat käsitletakse selle jaotise kõrvalasuvates artiklites.
Generaatori piirangud: mida see teie jaoks ei tee
Generaator ei tea teie saidi struktuuri. WordPress eelseadistus sulgeb tüüpilised teenuseteed, kuid see ei arva ära, et teie poe filtrid asuvad /filter/ -is ja sisemine otsing /find/ -is. Peate need teed ise sisestama.
See ei laadi faili serverisse üles ega kontrolli, kas fail on ligipääsetav aadressil /robots.txt olekukoodiga 200. Pärast üleslaadimist avage aadress brauseris või laske see läbi parseri.
Ja see ei asenda noindex: kui eesmärk on lehti otsingutulemustest eemaldada, siis robots.txt ei sobi. Lõpuks ei kaitse fail teie andmeid: see on avalik ja igaüks saab lugeda, millised jaotised olete lukustanud. Saladused on parooli taga peidus.
Millal tasuta tööriistast ei piisa?
Faili genereerimine võtab viis minutit. Tuhandete lehtedega saidil lukustatava teabe otsustamine on suur töö. Teil on vaja spetsialisti, kui:
- Poel on sadu filtrikombinatsioone ja mõned neist genereerivad liiklust;
- sait on mitmekeelne, alamdomeenidel või keelte jaoks eraldi kaustadega;
- Pärast robots.txt faili muutmist liiklus langes ja pole selge, milline reegel on süüdi;
- Peate robots.txt, metasildid, kanoonilise sisu ja saidikaardi ühte süsteemi viima.
Mida ma saan teie veebisaidi heaks teha?
Minu nimi on Valeriy Danyuk, olen arendaja ja SEO spetsialist 12-aastase kogemuse ja üle 200 kliendiga. Iga minu loodud veebisaidi osaks on korralik robots.txt fail.
SEO ja reklaam
- Valmis SEO audit: robots.txt, noindex, canonical ja sitemap ühtse süsteemina, mitte juhuslike reeglite kogumina.
- Tehisintellektil põhinev SEO-blogi, mis toob orgaanilisi müügivihjeid.
- Mitmekeelne veebisait ilma tõlkijata – kus robots.txt ja saidikaart peavad arvestama kõigi keeltega.
Veebilehed ja veebipoed
- WooCommerce veebipood: üle 40 malli, 299 € — robots.txt failiga ostukorvi, filtrite ja kassasse vormistamiseks.
- Veebisait 1001site, kus saidikaart ja indekseerimine konfigureeritakse automaatselt. Mille poolest see erineb tellimustasuga veebilehe koostajast? Tilda vs. tehisintellektil põhinev veebisaidi analüüs.
CRM, raamatupidamine ja automatiseerimine
- Igakuine raamatupidamissüsteem veebipoele – projekt Tšehhi Vabariigi ettevõttele.
- QuestFlow on tehisintellektiga Telegram robotite SaaS-i ehitaja.
Rohkem infot portfoolios. Pole kindel, mida kajastada? Saada mulle oma veebisaidi aadress Telegram – pakun välja sinu struktuuri reeglid.
Tulemus
- Veebipõhine robots.txt generaator loob viie minutiga korrektse faili: eelseadistus, teed, saidikaart, lipud.
- Sulge administraatoripaneel, prügikast, otsing ja teenuste kaustad; ära sulge CSS-i, JS-i, kataloogi ega ajaveebi.
- robots.txt ei eemalda indeksist lehti – selleks ongi
noindexmõeldud. - Keerukas struktuur, filtrid ja keeled on põhjus, miks usaldada seadistamine spetsialistile või ehitada sait 1001site, kus indekseerimine on koheselt konfigureeritud.
Loo oma robots.txt fail kohe tasuta robots.txt generaatori abil ja kui sul on reeglite kohta küsimusi, kirjuta mulle Telegram.
Allikad
- PromoPiloti robots.txt generaatori tööriistaleht — seaded, eelseadistused ja lehe küsimused.
- Google Search Central – Kuidas luua ja esitada faili Robots.txt.
- Next.js dokumentatsioon - robotite metaandmete fail.
