Përgjigje e shkurtër: për të krijuar një skedar robots.txt në internet, hapni gjeneratorin PromoPilot robots.txt, zgjidhni një parazgjedhje (Custom, Lejo të gjitha, Moho të gjitha, WordPress, Laravel ose Next.js), futni shtigjet për Moslej dhe Lejo, futni adresën e faqes së internetit për rreshtin Sitemap dhe opsionalisht zgjidhni Crawl-delay ose block AI crawlers. Skedari i plotësuar do të shfaqet në të djathtë - mund ta kopjoni ose shkarkoni. Është falas dhe nuk kërkon regjistrim.
Unë shkruaj robots.txt për çdo faqe të re interneti dhe e di sa e lehtë është të bësh gabime manualisht: një hapësirë shtesë, një vijë e hollë e harruar, një rregull jashtë një blloku. Ndërtuesi robots.txt e eliminon këtë problem - ju mendoni se çfarë të mbyllni, jo sintaksën. Më poshtë, do të shpjegojmë se si ta përdorni, çfarë të mbyllni dhe ku ta vendosni skedarin e përfunduar.
Çfarë bën gjeneratori robots.txt?
Gjeneratori është një formular në vend të një redaktuesi teksti. Ju zgjidhni cilësimet dhe mjeti i mbledh ato në një skedar të vlefshëm dhe e shfaq atë në një pamje paraprake të drejtpërdrejtë.
| Duke u konfiguruar | Çfarë grupesh | Pse faqja ka nevojë për këtë? |
|---|---|---|
| Paracaktuar | I personalizuar, Lejo të gjitha, Refuzo të gjitha, WordPress, Laravel, Next.js | Një pikënisje e gatshme për motorin tuaj |
| URL-ja e faqes së internetit | Adresa për rreshtin e Hartës Sitemap | Robotët e gjejnë vetë hartën e faqes |
| Mos lejo shtigjet | Seksionet që nuk do të skanohen, një për rresht | Roboti nuk humb kohë në panelin e administratorit dhe faqet e shërbimit. |
| Lejo Shtigjet | Përjashtime brenda seksioneve të mbyllura | Hapni skedarin e dëshiruar në një dosje të mbyllur |
| Vonesa e zvarritjes (10 sekonda) | Pauzë midis kërkesave të robotit | Lehtësimi i ngarkesës në një server të dobët për robotët që e marrin atë parasysh |
| Bllokimi i programeve të kërkimit të inteligjencës artificiale | Ndalohet përdorimi i GPTBot, Claude dhe robotëve të tjerë të inteligjencës artificiale. | Kontrolloni se kush e përdor përmbajtjen tuaj |
| Pamje paraprake, kopjim, shkarkim | Skedari robots.txt i përfunduar | Mund ta ngarkoni menjëherë në server. |
Është e rëndësishme të kuptoni kufizimin: gjeneratori krijon një skedar, por nuk kontrollon një skedar ekzistues. Nëse tashmë keni një skedar robots.txt dhe doni të gjeni gabime në të, duhet ta analizoni skedarin robots.txt - artikulli në seksionin tjetër i kushtohet kësaj.
Si të krijoni robots.txt në internet?
- Hapni gjeneratorin robots.txt.
- Zgjidh një parazgjedhje për motorin tënd. Nëse motori nuk është i listuar, zgjidh "I personalizuar".
- Futni adresën e faqes së internetit —
https://example.com. Kjo do të krijojë një rresht tëSitemap. - Shto shtigjet Mos lejo, një për rresht:
/admin/,/tmp/,/search/. - Nëse është e nevojshme, shtoni opsionin Lejo përjashtime brenda dosjeve të kufizuara, siç është
/uploads/images/. - Shënoni kutitë: Harta e faqes, Vonesa e zvarritjes, bllokimi i zvarritësve të inteligjencës artificiale.
- Kopjoni ose shkarkoni skedarin dhe ngarkojeni atë në rrënjën e faqes.
Në anën e majtë të faqes janë cilësimet, dhe në të djathtë është një pamje paraprake e skedarit me butonat "Kopjo" dhe "Shkarko robots.txt".
Skedari duhet të vendoset në mënyrë strikte në rrënjën e domenit: https://example.com/robots.txt. Robotët nuk do ta gjejnë atë në dosjen /blog/robots.txt ose në një nëndomen tjetër - çdo nëndomen ka skedarin e vet robots.txt.
Se ku saktësisht duhet të ngarkoni skedarin e shkarkuar varet nga platforma:
- Hostim i rregullt - përmes menaxherit të skedarëve të panelit ose FTP në dosjen ku ndodhet faqja kryesore (shpesh
public_htmlosewww). - WordPress — nëse nuk ka skedar fizik, motori ofron një skedar virtual robots.txt. Ngarkimi i skedarit në rrënjë e zëvendëson atë; opsioni i dytë është të përdorni redaktuesin e skedarëve në shtojcën SEO.
- Next.js dhe korniza të tjera — skedari vendoset në dosjen
publicose gjenerohet nga kodi i projektit në mënyrë që të mos humbasë gjatë vendosjes tjetër. - Ndërtuesit e faqeve të internetit - skedari zakonisht modifikohet në cilësimet SEO në vend që të ngarkohet manualisht.
Skedari duhet të emërtohet robots.txt me shkronja të vogla dhe të ruhet në kodimin UTF-8 si tekst i thjeshtë. Pas shkarkimit, hapeni atë në shfletuesin tuaj: nëse e shihni tekstin tuaj, gjithçka është në vendin e vet.
Çfarë duhet dhe nuk duhet të mbyllet në robots.txt?
Parimi kryesor: mbyllni çdo gjë që nuk i shton vlerë kërkimit dhe i humb kohën robotit. Mos mbyllni asgjë që është thelbësore që roboti ta kuptojë faqen.
Zakonisht mbyllur:
- paneli i administratorit dhe llogaria personale:
/admin/,/wp-admin/,/account/; - shporta dhe arka:
/cart/,/checkout/; - kërkim i brendshëm:
/search/,/?s=; - shërbimi dhe dosjet e përkohshme:
/tmp/,/cgi-bin/; - Kombinime të pafundme filtrash dhe opsionesh renditjeje - të shkëlqyera, vetëm nëse ka faqe uljeje të veçanta për filtrat e kërkuar.
Mos mbyll kurrë:
- CSS, JavaScript dhe imazhe—pa to, Google nuk do ta shohë faqen ashtu siç do ta shihte një njeri;
- katalog, blog, karta produktesh dhe faqe uljeje;
- faqet që doni të hiqni nga indeksi - për këtë ju nevojitet
noindex, dhe roboti duhet të jetë në gjendje ta lexojë atë.
Ja skedari që do të merrni për një dyqan tipik WordPress me WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Lidhur me flamujt. Google nuk e merr parasysh vonesën e kërkimit —e aktivizon atë vetëm nëse serveri juaj vuan nga botë të tjerë. Bllokimi i kërkimit të inteligjencës artificiale është një vendim biznesi: nëse doni që ChatGPT, Gemini dhe Perplexity të dinë për ju dhe t'ju rekomandojnë, mos e bllokoni aksesin e tyre.
Një tjetër pikë praktike është versioni i testimit të faqes. Për kopjen e fazës fillestare, përdorni parazgjedhjen "Moho të Gjitha", por sigurohuni që ta zëvendësoni skedarin pas hapjes: një Disallow: / i harruar është ajo që më shpesh zvogëlon trafikun në faqet e reja.
Krahasim: Gjeneratori PromoPilot dhe Mënyra të Tjera për të Krijuar Robots.txt
| Rruga | Çfarë është falas? | Kufizime | Për kë është i përshtatshëm? |
|---|---|---|---|
| PromoPilot — Gjenerator Robots.txt | Paracaktime, Moslejo dhe Lejo, Harta e Faqes, Vonesa e Zbulimit, Bllokimi i Bot-ëve të IA-së, shkarkim | Ju duhet ta ngarkoni vetë skedarin në server. | Për fillestarët dhe këdo që nuk dëshiron të mbajë mend sintaksën |
| Redaktor në një plugin SEO WordPress (p.sh. Yoast SEO) | Redaktimi i një skedari direkt nga paneli i administratorit | Vetëm për WordPress, ju e shkruani vetë sintaksën | Për pronarët e faqeve të internetit WordPress |
| Skedari Robots në Next.js | robots.txt gjenerohet nga kodi i projektit | Nevojitet zhvillues | Projektet Next.js |
| Redaktor teksti | Liri e plotë | Gabimet janë të lehta, pa asnjë të dhënë | Për ata që e dinë standardin përmendësh |
Përfundim: Gjeneratori është mënyra më e shpejtë për të marrë një skedar të vlefshëm pa e ditur sintaksën. Shtojca dhe kodi i projektit janë të përshtatshëm kur skedari duhet të ndryshojë së bashku me faqen e internetit.
Gjeneratori është një nga 87 mjetet SEO falas të PromoPilot. Pasi ta shkarkoni skedarin, kontrollojeni atë me një analizues robots.txt dhe për rreshtin e hartës së faqes, përdorni gjeneratorin sitemap.xml—të dyja trajtohen në artikujt ngjitur në këtë seksion.
Kufizimet e gjeneratorit: Çfarë nuk do të bëjë për ju
Gjeneratori nuk e njeh strukturën e faqes suaj. Parametrat e paracaktuar WordPress do të mbyllin shtigjet tipike të shërbimit, por nuk do të hamendësojnë nëse filtrat e dyqanit tuaj ndodhen në /filter/ dhe kërkimi i brendshëm në /find/. Do t'ju duhet t'i futni vetë këto shtigje.
Nuk e ngarkon skedarin në server dhe as nuk kontrollon nëse skedari është i arritshëm në /robots.txt me një kod statusi 200. Pas ngarkimit, hapni adresën në një shfletues ose ekzekutojeni atë përmes një analizuesi analizues.
Dhe nuk zëvendëson noindex: nëse qëllimi është të hiqen faqet nga rezultatet e kërkimit, robots.txt nuk është i përshtatshëm. Së fundmi, skedari nuk i mbron të dhënat tuaja: është publik dhe kushdo mund të lexojë se cilat seksione keni mbyllur. Sekretet fshihen pas një fjalëkalimi.
Kur nuk mjafton një mjet falas?
Gjenerimi i një skedari zgjat pesë minuta. Të vendosësh se çfarë të bllokosh në një faqe interneti me mijëra faqe është shumë punë. Ju nevojitet një specialist nëse:
- Dyqani ka qindra kombinime filtrash, dhe disa prej tyre gjenerojnë trafik;
- faqja është shumëgjuhëshe, në nën-domene ose me dosje të veçanta për gjuhët;
- Pas redaktimit të robots.txt, trafiku ra dhe nuk është e qartë se cili rregull duhet fajësuar;
- Duhet të vendosni robots.txt, meta tags, canonical dhe sitemap në një sistem të vetëm.
Çfarë mund të bëj për faqen tuaj të internetit?
Emri im është Valeriy Danyuk, jam zhvillues dhe specialist i SEO-s me 12 vjet përvojë dhe mbi 200 klientë. Një skedar i duhur robots.txt është pjesë e çdo faqeje interneti që ndërtoj.
SEO dhe promovim
- Auditim SEO i gatshëm për përdorim: robots.txt, noindex, canonical dhe sitemap si një sistem i unifikuar, jo një grup rregullash të rastësishme.
- Një blog SEO i mundësuar nga inteligjenca artificiale që sjell klientë potencialë organikë.
- Një faqe interneti shumëgjuhëshe pa përkthyes — ku robots.txt dhe sitemap duhet të marrin në konsideratë të gjitha gjuhët.
Faqet e internetit dhe dyqanet online
- Dyqani online WooCommerce: mbi 40 shabllone, 299 € — me robots.txt për shportë, filtra dhe arkë.
- Një faqe interneti në 1001site, ku harta e faqes dhe indeksimi konfigurohen automatikisht. Si ndryshon kjo nga një ndërtues me tarifë abonimi? Analiza e faqes së internetit Tilda kundrejt analizës së faqes së internetit të mundësuar nga inteligjenca artificiale.
CRM, kontabilitet dhe automatizim
- Një sistem kontabiliteti mujor për një dyqan online – një projekt për një kompani nga Republika Çeke.
- QuestFlow është një ndërtues SaaS Telegram me inteligjencë artificiale.
Më shumë në portofol. Nuk jeni të sigurt se çfarë të mbuloni? Më dërgoni adresën e faqes suaj të internetit në Telegram - do t'ju sugjeroj rregulla për strukturën tuaj.
Rezultati
- Gjeneratori online robots.txt krijon një skedar të saktë në pesë minuta: paracaktime, shtigje, hartë faqeje, flamuj.
- Mbyllni panelin e administratorit, koshin e riciklimit, dosjet e kërkimit dhe të shërbimit; mos e mbyllni CSS, JS, katalogun ose blogun.
- robots.txt nuk i heq faqet nga indeksi - për këtë shërben
noindex. - Një strukturë, filtra dhe gjuhë komplekse janë një arsye për t'ia besuar konfigurimin një specialisti ose për të ndërtuar një faqe në 1001site, ku indeksimi konfigurohet menjëherë.
Krijo skedarin tënd robots.txt tani duke përdorur gjeneratorin falas robots.txt dhe nëse ke ndonjë pyetje në lidhje me rregullat, më shkruaj në Telegram.
Burimet
- Faqja e mjetit të gjeneratorit robots.txt të PromoPilot — cilësimet, paracaktimet dhe pyetjet e faqes.
- Qendra e Kërkimit Google - Si të krijoni dhe dorëzoni një skedar Robots.txt.
- Dokumentacioni Next.js - skedari i meta të dhënave robots.
