Erantzun laburra: robots.txt fitxategi bat linean sortzeko, ireki PromoPilot robots.txt sorgailua, hautatu aurrezarpen bat (Pertsonalizatua, Guztiak onartu, Guztiak ukatu, WordPress, Laravel edo Next.js), idatzi Debekatu eta Onartu bideak, idatzi webgunearen helbidea Gunearen maparen lerrorako eta, aukeran, markatu Arakatze-atzerapena edo blokeatu AI arakatzaileak. Amaitutako fitxategia eskuinean agertuko da; kopiatu edo deskargatu dezakezu. Doakoa da eta ez du erregistrorik behar.
Webgune berri guztietarako robots.txt fitxategia idazten dut eta badakit zein erraza den eskuz akatsak egitea: espazio gehigarri bat, ahaztutako barra bat, bloke baten kanpoko arau bat. Robots.txt eraikitzaileak arazo hau ezabatzen du: zer itxi behar den pentsatzen duzu, ez sintaxian. Jarraian, nola erabili, zer itxi eta non jarri behar den amaitutako fitxategia azalduko dugu.
Zer egiten du robots.txt sorgailuak?
Sorgailua testu-editore baten ordez formulario bat da. Ezarpenak hautatzen dituzu, eta tresnak fitxategi baliodun batean biltzen ditu eta aurrebista batean bistaratzen du.
| Konfiguratzen | Zer ezartzen du | Zergatik behar du guneak hau? |
|---|---|---|
| Aurrezarpena | Pertsonalizatua, Guztiak Onartu, Guztiak Ukatu, WordPress, Laravel, Next.js | Zure motorrentzako abiapuntu prest bat |
| Webgunearen URLa | Sitemap lerroaren helbidea | Robotek eurek aurkitzen dute gunearen mapa |
| Debekatu bideak | Eskaneatu behar ez diren atalak, lerro bakoitzeko bat | Robotak ez du denborarik galtzen administrazio panelean eta zerbitzu orrialdeetan. |
| Onartu bideak | Salbuespenak atal itxietan | Ireki nahi duzun fitxategia karpeta itxi batean |
| Arakatze-atzerapena (10 seg) | Pausatu robot eskaeren artean | Zerbitzari ahul baten karga arintzea kontuan hartzen duten robotentzat |
| AI arakatzaileak blokeatzea | GPTBot, Claude eta beste IA bot batzuk debekatu | Kontrolatu nork erabiltzen duen zure edukia |
| Aurreikusi, kopiatu, deskargatu | Amaitutako robots.txt fitxategia | Berehala igo dezakezu zerbitzarira. |
Garrantzitsua da muga ulertzea: sorgailuak fitxategi bat sortzen du, baina ez du lehendik dagoen bat egiaztatzen. Robots.txt fitxategi bat baduzu eta bertan akatsak aurkitu nahi badituzu, robots.txt fitxategia aztertu behar duzu; hurrengo ataleko artikulua horri eskainita dago.
Nola sortu robots.txt fitxategia linean?
- Ireki robots.txt sorgailua.
- Hautatu zure motorrentzako aurrezarpen bat. Zure motorra zerrendan ez badago, aukeratu "Pertsonalizatua".
- Sartu webgunearen helbidea —
https://example.com. HonekSitemaplerro bat sortuko du. - Gehitu Debekatutako bideak, lerro bakoitzeko bat:
/admin/,/tmp/,/search/. - Beharrezkoa bada, gehitu Onartu salbuespenak karpeta mugatuetan, adibidez
/uploads/images/. - Markatu laukitxoak: Gunearen mapa, Arakatze-atzerapena, IA arakatzaileak blokeatu.
- Kopiatu edo deskargatu fitxategia eta igo gunearen erro-karpetara.
Orriaren ezkerreko aldean ezarpenak daude, eta eskuinean fitxategiaren aurrebista zuzena "Kopiatu" eta "Deskargatu robots.txt" botoiekin.
Fitxategia domeinuaren erroan kokatu behar da soilik: https://example.com/robots.txt. Robotek ez dute aurkituko /blog/robots.txt karpetan edo beste azpidomeinu batean; azpidomeinu bakoitzak bere robots.txt fitxategia du.
Deskargatutako fitxategia non igo behar den plataformaren araberakoa da:
- Ohiko ostatua - panelaren fitxategi kudeatzailearen edo FTParen bidez orrialde nagusia dagoen karpetara (askotan
public_htmledowww). - WordPress — fitxategi fisikorik ez badago, motorrak robots.txt fitxategi birtual bat zerbitzatzen du. Fitxategia erro-karga batera igotzeak ordezkatzen du; bigarren aukera SEO plugin-eko fitxategi-editorea erabiltzea da.
- Next.js eta beste framework batzuk —fitxategia karpeta
publicjartzen da edo proiektuaren kodetik sortzen da, hurrengo hedapenean gal ez dadin. - Webguneen sortzaileak - fitxategia normalean SEO ezarpenetan editatzen da, eskuz igo beharrean.
Fitxategiaren izena robots.txt izan behar da letra xehez, eta UTF-8 kodeketan gorde behar da testu arrunt gisa. Deskargatu ondoren, ireki zure arakatzailean: testua ikusten baduzu, dena bere lekuan dago.
Zer itxi behar da eta zer ez robots.txt fitxategian?
Printzipio nagusia: itxi bilaketari baliorik gehitzen ez dion eta robotaren denbora alferrik galtzen duen edozer. Ez itxi robotak orrialdea ulertzeko ezinbestekoa den ezer.
Normalean itxita:
- administrazio panela eta kontu pertsonala:
/admin/,/wp-admin/,/account/; - saskia eta ordainketa:
/cart/,/checkout/; - barne bilaketa:
/search/,/?s=; - zerbitzu eta aldi baterako karpetak:
/tmp/,/cgi-bin/; - Iragazkien eta ordenatzeko aukeren konbinazio amaigabeak - polita, beharrezko iragazkietarako helmuga-orri bereiziak badaude bakarrik.
Inoiz ez itxi:
- CSS, JavaScript eta irudiak — horiek gabe, Google ez luke orrialdea gizaki batek bezala ikusiko;
- katalogoa, bloga, produktuen txartelak eta landing page-ak;
- Indizetik kendu nahi dituzun orrialdeak - horretarako
noindexbehar duzu, eta robotak irakurri ahal izan behar du.
Hona hemen WooCommerce rekin ohiko WordPress denda batek lortuko duzun fitxategia:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Banderei dagokienez. Google ez du arakatze-atzerapena kontuan hartzen; zure zerbitzariak beste bot batzuk jasaten baditu bakarrik gaitu. IA arakatzaileak blokeatzea negozio-erabakia da: ChatGPT, Gemini eta Perplexity-k zure berri izan eta gomendatzea nahi baduzu, ez blokeatu haien sarbidea.
Beste puntu praktiko bat gunearen proba-bertsioa da. Proba-kopiarako, erabili "Dena ukatu" aurrezarpena, baina ziurtatu fitxategia abiaraztean ordezkatzen duzula: ahaztutako Disallow: / bat da gune berrietarako trafikoa gehienetan murrizten duena.
Konparaketa: PromoPilot sorgailua eta Robots.txt sortzeko beste modu batzuk
| Bidea | Zer da doakoa? | Murrizketak | Norentzat da egokia? |
|---|---|---|---|
| PromoPilot — Robots.txt Sorgailua | Aurrezarpenak, Onartu eta Debekatu, Gunearen mapa, Arakatze-atzerapena, AI bot blokeatzea, deskargatzea | Fitxategia zuk zeuk igo behar duzu zerbitzarira. | Hasiberrientzat eta sintaxia gogoratu nahi ez dutenentzat |
| Editorea WordPress SEO plugin batean (adibidez, Yoast SEO) | Fitxategi bat zuzenean administrazio-paneletik editatzea | WordPress erako bakarrik, zuk zeuk idazten duzu sintaxia | WordPress webguneen jabeentzat |
| Next.js -eko robot fitxategia | robots.txt proiektuaren kodetik sortzen da | Garatzailea behar da | Next.js proiektuak |
| Testu-editorea | Askatasun osoa. | Erraza da akatsak egitea, arrastorik ez | Estandarra bihotzez dakitenentzat |
Ondorioa: Sorgailua da sintaxia jakin gabe fitxategi baliodun bat lortzeko modurik azkarrena. Plugin-a eta proiektuaren kodea erabilgarriak dira fitxategia webgunearekin batera aldatu behar denean.
Sorgailua PromoPilot-en 87 SEO tresnetako bat da. Fitxategia deskargatu ondoren, egiaztatu robots.txt analizatzaile batekin, eta gunearen maparen lerroarentzat, erabili sitemap.xml sorgailua —biak atal honetako artikuluetan azaltzen dira.
Sorgailuaren mugak: zer ez dizu egingo
Sorgailuak ez du zure gunearen egitura ezagutzen. WordPress aurrezarpenak ohiko zerbitzu-bideak itxiko ditu, baina ez du asmatuko zure dendaren iragazkiak /filter/ -en daudenik eta barneko bilaketa /find/ -en. Bide horiek zuk zeuk sartu beharko dituzu.
Ez du fitxategia zerbitzarira igotzen edo ez du egiaztatzen fitxategia /robots.txt helbidean eskuragarri dagoen 200 egoera-kodearekin. Igo ondoren, ireki helbidea arakatzaile batean edo exekutatu parser baten bidez.
Eta ez du noindex ordezkatzen: helburua bilaketa-emaitzetatik orrialdeak kentzea bada, robots.txt ez da egokia. Azkenik, fitxategiak ez ditu zure datuak babesten: publikoa da, eta edonork irakur ditzake zein atal blokeatu dituzun. Sekretuak pasahitz baten atzean ezkutatzen dira.
Noiz ez da nahikoa doako tresna bat?
Fitxategi bat sortzeak bost minutu behar ditu. Milaka orrialde dituen gune batean zer blokeatu erabakitzea lan handia da. Espezialista bat behar duzu honako kasu hauetan:
- Dendak ehunka iragazki konbinazio ditu, eta horietako batzuek trafikoa sortzen dute;
- gunea eleanitza da, azpidomeinuetan edo hizkuntzetarako karpeta bereiziekin;
- robots.txt editatu ondoren, trafikoa jaitsi egin zen, eta ez dago argi zein arau den erruduna;
- robots.txt, meta etiketak, kanonikoa eta gunearen mapa sistema bakarrean lerrokatu behar dituzu.
Zer egin dezaket zure webgunearentzat?
Nire izena Valeriy Danyuk da, garatzailea eta SEO espezialista naiz, 12 urteko esperientziarekin eta 200 bezero baino gehiagorekin. Eraikitzen dudan webgune guztien robots.txt fitxategi egoki bat dago.
SEO eta sustapena
- SEO auditoria giltza eskura: robots.txt, noindex, kanonikoa eta gunearen mapa sistema bateratu gisa, ez ausazko arau multzo gisa.
- Adimen artifizialak bultzatutako SEO blog bat, bezero potentzial organikoak ekartzen dituena.
- Itzultzailerik gabeko webgune eleaniztuna —non robots.txt-k eta gunearen mapak hizkuntza guztiak kontuan hartu behar dituzten.
Webguneak eta online dendak
- WooCommerce online denda: 40 txantiloi baino gehiago, 299 € — robots.txt fitxategiarekin erosketa-saskirako, iragazkietarako eta ordainketa-prozesurako.
- 1001site -ko webgune bat, non gunearen mapa eta indexazioa automatikoki konfiguratzen diren. Zertan desberdintzen da hau harpidetza-kuota duen eraikitzaile batekin alderatuta? Tilda vs. IA bidezko webguneen analisia.
CRM, kontabilitatea eta automatizazioa
- Online denda baterako hileko kontabilitate sistema – Txekiar Errepublikako enpresa baten proiektua.
- QuestFlow IA erabiliz Telegram botentzako SaaS eraikitzaile bat da.
Gehiago portfolioan. Ez dakizu zer landu? Bidali zure webgunearen helbidea Telegram -en – zure egiturarako arauak proposatuko dizkizut.
Emaitza
- Online robots.txt sorgailuak bost minututan fitxategi zuzen bat sortzen du: aurrezarpena, bideak, gunearen mapa, banderak.
- Itxi administrazio-panela, birziklapen-zaborra, bilaketa eta zerbitzu-karpetak; ez itxi CSS, JS, katalogoa edo bloga.
- robots.txt-ek ez ditu orrialdeak indizetik kentzen - horretarako dago
noindex. - Egitura konplexua, iragazkiak eta hizkuntzak dira konfigurazioa espezialista bati uzteko edo 1001site -n gune bat eraikitzeko arrazoia, non indexazioa kutxatik kanpo konfiguratuta dagoen.
Sortu zure robots.txt fitxategia oraintxe bertan doako robots.txt sorgailua erabiliz, eta arauei buruzko galderarik baduzu, idatzi iezadazu Telegram -en.
Iturriak
- PromoPilot-en robots.txt sorgailu tresnaren orria — ezarpenak, aurrezarpenak eta orrialdeko galderak.
- Google Search Central - Nola sortu eta bidali Robots.txt fitxategi bat.
- Next.js dokumentazioa - roboten metadatuen fitxategia.
