Kort antwoord: om 'n robots.txt-lêer aanlyn te skep, maak die PromoPilot robots.txt-generator oop, kies 'n voorafinstelling (Aangepas, Laat alles toe, Weier alles, WordPress, Laravel of Next.js), voer die paaie vir Disallow en Allow in, voer die webwerfadres vir die Sitemap-lyn in, en merk opsioneel Kruipvertraging of blokkeer KI-kruipers. Die voltooide lêer sal aan die regterkant verskyn—jy kan dit kopieer of aflaai. Dit is gratis en vereis geen registrasie nie.
Ek skryf robots.txt vir elke nuwe webwerf en weet hoe maklik dit is om foute handmatig te maak: 'n ekstra spasie, 'n vergete skuinsstreep, 'n reël buite 'n blok. Die robots.txt-bouer elimineer hierdie probleem—jy dink aan wat om te sluit, nie die sintaksis nie. Hieronder sal ons verduidelik hoe om dit te gebruik, wat om te sluit en waar om die voltooide lêer te plaas.
Wat doen die robots.txt-generator?
Die generator is 'n vorm in plaas van 'n teksredigeerder. Jy kies die instellings, en die instrument stel dit saam in 'n geldige lêer en vertoon dit in 'n regstreekse voorskou.
| Opstel | Wat stel | Waarom het die webwerf dit nodig? |
|---|---|---|
| Voorafinstelling | Pasgemaak, Laat alles toe, Weier alles, WordPress, Laravel, Next.js | 'n Gereedgemaakte beginpunt vir jou enjin |
| Webwerf-URL | Adres vir Sitemap -lyn | Robotte vind die sitemap self |
| Verwerp paaie | Afdelings wat nie geskandeer moet word nie, een per lyn | Die robot mors nie tyd op die administrasiepaneel en diensbladsye nie. |
| Laat paaie toe | Uitsonderings binne geslote afdelings | Maak die verlangde lêer in 'n geslote vouer oop |
| Kruipvertraging (10 sek) | Pouseer tussen robotversoeke | Verlig die las op 'n swak bediener vir robotte wat dit in ag neem |
| Blokkeer KI-kruipers | Verbod vir GPTBot, Claude en ander KI-botte | Beheer wie jou inhoud gebruik |
| Voorskou, kopieer, aflaai | Die voltooide robots.txt -lêer | Jy kan dit dadelik na die bediener oplaai. |
Dit is belangrik om die beperking te verstaan: die generator skep 'n lêer, maar dit kontroleer nie 'n bestaande een nie. As jy reeds 'n robots.txt-lêer het en foute daarin wil vind, moet jy die robots.txt-lêer analiseer—die artikel in die volgende afdeling is hieraan gewy.
Hoe om robots.txt aanlyn te skep?
- Maak die robots.txt-generator oop.
- Kies 'n voorafinstelling vir jou enjin. As jou enjin nie gelys is nie, kies "Aangepas".
- Voer die webwerfadres in —
https://example.com. Dit sal 'nSitemaplyn skep. - Voeg Disallow-paaie by, een per lyn:
/admin/,/tmp/,/search/. - Indien nodig, voeg Laat uitsonderings binne beperkte gidse toe, soos
/uploads/images/. - Merk die blokkies: Werfkaart, Kruipvertraging, blokkeer KI-kruipers.
- Kopieer of laai die lêer af en laai dit op na die wortel van die webwerf.
Aan die linkerkant van die bladsy is die instellings, en aan die regterkant is 'n regstreekse voorskou van die lêer met die "Kopieer" en "Laai robots.txt af" knoppies.
Die lêer moet streng gesproke by die wortel van die domein geleë wees: https://example.com/robots.txt. Robotte sal dit nie in /blog/robots.txt of op 'n ander subdomein vind nie—elke subdomein het sy eie robots.txt-lêer.
Waar presies die afgelaaide lêer opgelaai moet word, hang af van die platform:
- Gereelde hosting - deur die paneel se lêerbestuurder of FTP na die lêergids waar die hoofblad geleë is (dikwels
public_htmlofwww). - WordPress — as daar geen fisiese lêer is nie, bedien die enjin 'n virtuele robots.txt-lêer. Die oplaai van die lêer na die wortel vervang dit; die tweede opsie is om die lêerredigeerder in die SEO-inprop te gebruik.
- Next.js en ander raamwerke — die lêer word in die
publicvouer geplaas of gegenereer uit die projekkode sodat dit nie tydens die volgende ontplooiing verlore raak nie. - Webwerfbouers - die lêer word gewoonlik in die SEO-instellings geredigeer eerder as om dit handmatig op te laai.
Die lêer moet robots.txt in kleinletters genoem word en in UTF-8-enkodering as gewone teks gestoor word. Nadat dit afgelaai is, maak dit in jou blaaier oop: as jy jou teks sien, is alles in plek.
Wat moet en moet nie in robots.txt gesluit word nie?
Die hoofbeginsel: maak enigiets toe wat nie waarde tot soektog toevoeg nie en die robot se tyd mors. Moenie enigiets toemaak wat noodsaaklik is vir die robot om die bladsy te verstaan nie.
Gewoonlik gesluit:
- adminpaneel en persoonlike rekening:
/admin/,/wp-admin/,/account/; - mandjie en afhandeling:
/cart/,/checkout/; - interne soektog:
/search/,/?s=; - diens- en tydelike vouers:
/tmp/,/cgi-bin/; - Eindelose kombinasies van filters en sorteeropsies - netjies, slegs as daar aparte bestemmingsbladsye vir die vereiste filters is.
Moet nooit toemaak nie:
- CSS, JavaScript en beelde—sonder hulle sal Google nie die bladsy sien soos 'n mens dit sou doen nie;
- katalogus, blog, produkkaarte en bestemmingsbladsye;
- bladsye wat jy van die indeks wil verwyder - hiervoor benodig jy
noindex, en die robot moet dit kan lees.
Hier is die lêer wat jy vir 'n tipiese WordPress winkel met WooCommerce sal kry:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Wat vlae betref. Google neem nie kruipvertraging in ag nie – aktiveer dit slegs as jou bediener onder ander botte ly. Die blokkering van KI-kruipers is 'n sakebesluit: as jy wil hê dat ChatGPT, Gemini en Perplexity van jou moet weet en jou aanbeveel, moenie hul toegang blokkeer nie.
Nog 'n praktiese punt is die toetsweergawe van die webwerf. Vir die proefkopie, gebruik die "Weier alles"-voorinstelling, maar maak seker dat jy die lêer vervang met die bekendstelling: 'n vergete Disallow: / is wat die meeste verkeer na nuwe webwerwe verminder.
Vergelyking: PromoPilot Generator en ander maniere om Robots.txt te skep
| Manier | Wat is gratis? | Beperkings | Vir wie is dit geskik? |
|---|---|---|---|
| PromoPilot — Robots.txt Generator | Voorafinstellings, Verbied en Laat Toe, Werfkaart, Kruipvertraging, KI-botblokkering, aflaai | Jy moet die lêer self na die bediener oplaai. | Vir beginners en enigiemand wat nie sintaksis wil onthou nie |
| Redigeerder in 'n WordPress SEO-inprop (bv. Yoast SEO) | Wysig 'n lêer direk vanaf die administrasiepaneel | Slegs vir WordPress, skryf jy self die sintaksis | Vir WordPress webwerf-eienaars |
| Robots-lêer in Next.js | robots.txt word gegenereer uit die projekkode | Ontwikkelaar benodig | Next.js -projekte |
| Teksredigeerder | Volledige vryheid | Maklik om foute te maak, geen leidrade nie | Vir diegene wat die standaard uit die kop ken |
Gevolgtrekking: Die generator is die vinnigste manier om 'n geldige lêer te kry sonder om die sintaksis te ken. Die inprop en projekkode is gerieflik wanneer die lêer saam met die webwerf verander moet word.
Die generator is een van PromoPilot se 87 gratis SEO-gereedskap. Nadat u die lêer afgelaai het, kontroleer dit met 'n robots.txt-ontleder, en vir die sitemap-lyn, gebruik die sitemap.xml-generator—albei word in die aangrensende artikels in hierdie afdeling behandel.
Beperkings van die kragopwekker: Wat dit nie vir jou sal doen nie
Die generator ken nie jou webwerf se struktuur nie. Die WordPress voorinstelling sal die tipiese dienspaaie sluit, maar dit sal nie raai dat jou winkel se filters in /filter/ is en die interne soektog in /find/. Jy sal hierdie paaie self moet invoer.
Dit laai nie die lêer na die bediener op nie en kontroleer ook nie of die lêer toeganklik is by /robots.txt met 'n 200-statuskode nie. Nadat dit opgelaai is, maak die adres in 'n blaaier oop of laat dit deur 'n ontleder loop.
En dit vervang nie noindex nie: as die doel is om bladsye uit soekresultate te verwyder, is robots.txt nie geskik nie. Laastens beskerm die lêer nie jou data nie: dit is publiek, en enigiemand kan lees watter afdelings jy gesluit het. Geheime word agter 'n wagwoord versteek.
Wanneer is 'n gratis hulpmiddel nie genoeg nie?
Dit neem vyf minute om 'n lêer te genereer. Om te besluit wat om te sluit op 'n webwerf met duisende bladsye is baie werk. Jy benodig 'n spesialis as:
- Die winkel het honderde filterkombinasies, en sommige van hulle genereer verkeer;
- die webwerf is veeltalig, op subdomeine of met aparte lêers vir tale;
- Nadat robots.txt gewysig is, het die verkeer gedaal, en dit is onduidelik watter reël die skuld is;
- Jy moet robots.txt, meta-etikette, kanoniek en sitemap in een stelsel in lyn bring.
Wat kan ek vir jou webwerf doen?
My naam is Valeriy Danyuk, ek is 'n ontwikkelaar en SEO-spesialis met 12 jaar ondervinding en meer as 200 kliënte. 'n Behoorlike robots.txt-lêer is deel van elke webwerf wat ek bou.
SEO en promosie
- Sleutelklaar SEO-oudit: robots.txt, noindex, canonical en sitemap as 'n verenigde stelsel, nie 'n stel ewekansige reëls nie.
- 'n KI-aangedrewe SEO-blog wat organiese leidrade inbring.
- 'n Meertalige webwerf sonder 'n vertaler — waar robots.txt en sitemap alle tale in ag moet neem.
Webwerwe en aanlynwinkels
- WooCommerce aanlynwinkel: 40+ sjablone, €299 — met robots.txt vir mandjie, filters en afhandeling.
- 'n Webwerf op 1001site, waar die werfkaart en indeksering outomaties gekonfigureer word. Hoe verskil dit van 'n bouer met 'n intekengeld? Tilda vs. KI-aangedrewe webwerf- analise.
CRM, rekeningkunde en outomatisering
- 'n Maandelikse rekeningkundige stelsel vir 'n aanlynwinkel – 'n projek vir 'n maatskappy uit die Tsjeggiese Republiek.
- QuestFlow is 'n SaaS-bouer Telegram botte met KI.
Meer in die portefeulje. Nie seker wat om te dek nie? Stuur vir my jou webwerfadres in Telegram – ek sal reëls vir jou struktuur voorstel.
Resultaat
- Die aanlyn robots.txt-generator skep 'n korrekte lêer binne vyf minute: vooraf ingestelde lêer, paaie, webwerfkaart, vlae.
- Maak die administrasiepaneel, asblik, soektog en diensvouers toe; moenie CSS, JS, die katalogus of die blog toemaak nie.
- robots.txt verwyder nie bladsye uit die indeks nie - dit is waarvoor
noindexis. - 'n Komplekse struktuur, filters en tale is 'n rede om die opstelling aan 'n spesialis toe te vertrou of 'n webwerf op 1001site te bou, waar indeksering uit die boks gekonfigureer word.
Skep nou jou eie robots.txt-lêer met behulp van die gratis robots.txt-generator, en as jy enige vrae oor die reëls het, skryf aan my op Telegram.
Bronne
- PromoPilot se robots.txt Generator-gereedskapbladsy — instellings, voorinstellings en bladsyvrae.
- Google Soek Sentraal - Hoe om 'n Robots.txt-lêer te skep en in te dien.
- Next.js dokumentasie - robotte metadata lêer.
