Yr ateb byr: i greu ffeil robots.txt ar-lein, agorwch y generadur robots.txt PromoPilot, dewiswch ragosodiad (Personoli, Caniatáu popeth, Gwrthod popeth, WordPress, Laravel, neu Next.js), nodwch y llwybrau ar gyfer Gwrthod a Chaniatáu, nodwch gyfeiriad y wefan ar gyfer y llinell Map Safle, a dewisol ticiwch Oedi Cropian neu rwystro cropwyr AI. Bydd y ffeil wedi'i chwblhau yn ymddangos ar y dde—gallwch ei chopïo neu ei lawrlwytho. Mae'n rhad ac am ddim ac nid oes angen cofrestru.
Rwy'n ysgrifennu robots.txt ar gyfer pob gwefan newydd ac yn gwybod pa mor hawdd yw gwneud camgymeriadau â llaw: gofod ychwanegol, slaes anghofiedig, rheol y tu allan i floc. Mae'r adeiladwr robots.txt yn dileu'r broblem hon—rydych chi'n meddwl am beth i'w gau, nid y cystrawen. Isod, byddwn yn egluro sut i'w ddefnyddio, beth i'w gau, a ble i roi'r ffeil orffenedig.
Beth mae'r generadur robots.txt yn ei wneud?
Mae'r generadur yn ffurflen yn hytrach na golygydd testun. Rydych chi'n dewis y gosodiadau, ac mae'r offeryn yn eu cydosod yn ffeil ddilys ac yn ei harddangos mewn rhagolwg byw.
| Sefydlu | Beth sy'n gosod | Pam mae angen hyn ar y wefan? |
|---|---|---|
| Rhagosodedig | Addasu, Caniatáu Popeth, Gwrthod Popeth, WordPress, Laravel, Next.js | Man cychwyn parod ar gyfer eich injan |
| URL y wefan | Cyfeiriad ar gyfer llinell Sitemap | Mae robotiaid yn dod o hyd i'r map safle eu hunain |
| Gwahardd llwybrau | Adrannau na ddylid eu sganio, un fesul llinell | Nid yw'r robot yn gwastraffu amser ar y panel gweinyddol a'r tudalennau gwasanaeth. |
| Caniatáu Llwybrau | Eithriadau o fewn adrannau caeedig | Agorwch y ffeil a ddymunir mewn ffolder caeedig |
| Oedi cropian (10 eiliad) | Oed rhwng ceisiadau robot | Lleddfu'r baich ar weinydd gwan ar gyfer robotiaid sy'n ei ystyried |
| Blocio crafwyr AI | Gwahardd GPTBot, Claude, a robotiaid AI eraill | Rheoli pwy sy'n defnyddio eich cynnwys |
| Rhagolwg, copïo, lawrlwytho | Y ffeil robots.txt gorffenedig | Gallwch ei uwchlwytho i'r gweinydd ar unwaith. |
Mae'n bwysig deall y cyfyngiad: mae'r generadur yn creu ffeil, ond nid yw'n gwirio un sy'n bodoli eisoes. Os oes gennych ffeil robots.txt eisoes ac eisiau dod o hyd i wallau ynddi, mae angen i chi ddadansoddi'r ffeil robots.txt—mae'r erthygl yn yr adran nesaf wedi'i chysegru i hyn.
Sut i greu robots.txt ar-lein?
- Agorwch y generadur robots.txt.
- Dewiswch ragosodiad ar gyfer eich peiriant. Os nad yw eich peiriant wedi'i restru, dewiswch "Personoli".
- Rhowch gyfeiriad y wefan —
https://example.com. Bydd hyn yn creu llinellSitemap. - Ychwanegu llwybrau Gwrthod, un fesul llinell:
/admin/,/tmp/,/search/. - Os oes angen, ychwanegwch Caniatáu eithriadau y tu mewn i ffolderi cyfyngedig, fel
/uploads/images/. - Ticiwch y blychau: Map o'r Wefan, Oedi Cropian, rhwystro cropwyr AI.
- Copïwch neu lawrlwythwch y ffeil a'i huwchlwytho i wreiddyn y wefan.
Ar ochr chwith y dudalen mae'r gosodiadau, ac ar y dde mae rhagolwg byw o'r ffeil gyda'r botymau "Copïo" a "Lawrlwytho robots.txt".
Rhaid lleoli'r ffeil yn llym wrth wreiddyn y parth: https://example.com/robots.txt. Ni fydd robotiaid yn dod o hyd iddi yn /blog/robots.txt nac ar is-barth arall—mae gan bob is-barth ei ffeil robots.txt ei hun.
Mae ble yn union i uwchlwytho'r ffeil a lawrlwythwyd yn dibynnu ar y platfform:
- Cynnal rheolaidd - trwy reolwr ffeiliau'r panel neu FTP i'r ffolder lle mae'r brif dudalen wedi'i lleoli (yn aml
public_htmlneuwww). - WordPress — os nad oes ffeil gorfforol, mae'r peiriant yn gwasanaethu ffeil robots.txt rithwir. Mae uwchlwytho'r ffeil i'r gwreiddyn yn ei disodli; yr ail opsiwn yw defnyddio'r golygydd ffeiliau yn yr ategyn SEO.
- Next.js a fframweithiau eraill —mae'r ffeil yn cael ei rhoi yn y ffolder
publicneu ei chynhyrchu o god y prosiect fel nad yw'n mynd ar goll yn ystod y defnydd nesaf. - Adeiladwyr gwefannau - fel arfer caiff y ffeil ei golygu yn y gosodiadau SEO yn hytrach na'i huwchlwytho â llaw.
Rhaid i'r ffeil gael ei henwi'n robots.txt mewn llythrennau bach a'i chadw mewn amgodio UTF-8 fel testun plaen. Ar ôl ei lawrlwytho, agorwch hi yn eich porwr: os gwelwch eich testun, mae popeth yn ei le.
Beth ddylai a beth na ddylai gael ei gau yn robots.txt?
Y prif egwyddor: cau unrhyw beth nad yw'n ychwanegu gwerth at chwiliad ac sy'n gwastraffu amser y robot. Peidiwch â chau unrhyw beth sy'n hanfodol i'r robot ddeall y dudalen.
Ar gau fel arfer:
- panel gweinyddol a chyfrif personol:
/admin/,/wp-admin/,/account/; - cart a thasg dalu:
/cart/,/checkout/; - chwiliad mewnol:
/search/,/?s=; - ffolderi gwasanaeth a ffolderi dros dro:
/tmp/,/cgi-bin/; - Cyfuniadau diddiwedd o hidlwyr ac opsiynau didoli - taclus, dim ond os oes tudalennau glanio ar wahân ar gyfer yr hidlwyr gofynnol.
Peidiwch byth â chau:
- CSS, JavaScript, a delweddau—hebddyn nhw, ni fydd Google yn gweld y dudalen fel y byddai bod dynol;
- catalog, blog, cardiau cynnyrch a thudalennau glanio;
- tudalennau rydych chi am eu tynnu o'r mynegai - ar gyfer hyn mae angen
noindexarnoch chi, a rhaid i'r robot allu ei ddarllen.
Dyma'r ffeil a gewch ar gyfer siop WordPress nodweddiadol gyda WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
O ran baneri. Nid yw Google yn ystyried oedi cropian —dim ond ei alluogi os yw'ch gweinydd yn dioddef o botiau eraill. Mae rhwystro cropwyr AI yn benderfyniad busnes: os ydych chi eisiau i ChatGPT, Gemini, a Perplexity wybod amdanoch chi a'ch argymell, peidiwch â rhwystro eu mynediad.
Pwynt ymarferol arall yw fersiwn brawf y wefan. Ar gyfer y copi llwyfannu, defnyddiwch y rhagosodiad "Gwrthod Popeth", ond gwnewch yn siŵr eich bod yn disodli'r ffeil wrth ei lansio: anghofiwyd Disallow: / sydd amlaf yn lleihau traffig i wefannau newydd.
Cymhariaeth: Cynhyrchydd PromoPilot a Ffyrdd Eraill o Greu Robots.txt
| Ffordd | Beth sy'n rhad ac am ddim? | Cyfyngiadau | I bwy mae'n addas? |
|---|---|---|---|
| PromoPilot — Cynhyrchydd Robots.txt | Rhagosodiadau, Gwahardd a Chaniatáu, Map o'r Wefan, Oedi Cropian, Blocio bot AI, lawrlwytho | Mae angen i chi uwchlwytho'r ffeil i'r gweinydd eich hun. | I ddechreuwyr ac unrhyw un nad yw eisiau cofio cystrawen |
| Golygydd mewn ategyn SEO WordPress (e.e. Yoast SEO) | Golygu ffeil yn uniongyrchol o'r panel gweinyddol | Ar gyfer WordPress yn unig, rydych chi'n ysgrifennu'r cystrawen eich hun | Ar gyfer perchnogion gwefannau WordPress |
| Ffeil robotiaid yn Next.js | Mae robots.txt yn cael ei gynhyrchu o god y prosiect | Angen datblygwr | Prosiectau Next.js |
| Golygydd testun | Rhyddid llwyr | Hawdd gwneud camgymeriadau, dim cliwiau | I'r rhai sy'n gwybod y safon ar eu cof |
Casgliad: Y generadur yw'r ffordd gyflymaf o gael ffeil ddilys heb wybod y gystrawen. Mae'r ategyn a chod y prosiect yn gyfleus pan fydd angen newid y ffeil ynghyd â'r wefan.
Mae'r generadur yn un o 87 o offer SEO am ddim PromoPilot. Ar ôl lawrlwytho'r ffeil, gwiriwch hi gyda dadansoddwr robots.txt, ac ar gyfer y llinell map safle, defnyddiwch y generadur sitemap.xml—mae'r ddau wedi'u trafod yn yr erthyglau cyfagos yn yr adran hon.
Cyfyngiadau Generadur: Yr Hyn na Fydd yn Ei Wneud i Chi
Nid yw'r generadur yn gwybod strwythur eich gwefan. Bydd rhagosodiad WordPress yn cau'r llwybrau gwasanaeth nodweddiadol, ond ni fydd yn dyfalu bod hidlwyr eich siop yn byw yn /filter/ a'r chwiliad mewnol yn /find/. Bydd angen i chi nodi'r llwybrau hyn eich hun.
Nid yw'n uwchlwytho'r ffeil i'r gweinydd nac yn gwirio bod y ffeil yn hygyrch yn /robots.txt gyda chod statws 200. Ar ôl uwchlwytho, agorwch y cyfeiriad mewn porwr neu rhedwch ef trwy ddadansoddydd.
Ac nid yw'n disodli noindex: os yw'r nod yw tynnu tudalennau o ganlyniadau chwilio, nid yw robots.txt yn addas. Yn olaf, nid yw'r ffeil yn amddiffyn eich data: mae'n gyhoeddus, a gall unrhyw un ddarllen pa adrannau rydych chi wedi'u cloi. Mae cyfrinachau wedi'u cuddio y tu ôl i gyfrinair.
Pryd nad yw teclyn am ddim yn ddigon?
Mae creu ffeil yn cymryd pum munud. Mae penderfynu beth i'w gloi ar wefan gyda miloedd o dudalennau yn llawer o waith. Mae angen arbenigwr arnoch os:
- Mae gan y siop gannoedd o gyfuniadau hidlo, ac mae rhai ohonyn nhw'n cynhyrchu traffig;
- mae'r wefan yn amlieithog, ar is-barthau neu gyda ffolderi ar wahân ar gyfer ieithoedd;
- Ar ôl golygu robots.txt, gostyngodd y traffig, ac nid yw'n glir pa reol sydd ar fai;
- Mae angen i chi alinio robots.txt, tagiau meta, canonaidd, a map safle i mewn i un system.
Beth alla i ei wneud ar gyfer eich gwefan?
Fy enw i yw Valeriy Danyuk, rwy'n ddatblygwr ac arbenigwr SEO gyda 12 mlynedd o brofiad a dros 200 o gleientiaid. Mae ffeil robots.txt briodol yn rhan o bob gwefan rwy'n ei hadeiladu.
SEO a hyrwyddo
- Archwiliad SEO cyflawn: robots.txt, noindex, canonical, a map safle fel system unedig, nid set o reolau ar hap.
- Blog SEO wedi'i bweru gan AI sy'n denu arweinwyr organig.
- Gwefan amlieithog heb gyfieithydd — lle mae'n rhaid i robots.txt a map safle ystyried pob iaith.
Gwefannau a siopau ar-lein
- Siop ar-lein WooCommerce: 40+ o dempledi, €299 — gyda robots.txt ar gyfer y fasged, hidlwyr, a'r broses dalu.
- Gwefan ar 1001site, lle mae'r map safle a'r mynegeio wedi'u ffurfweddu'n awtomatig. Sut mae hyn yn wahanol i adeiladwr gyda ffi tanysgrifio? Dadansoddiad gwefan Tilda vs. dadansoddiad gwefan wedi'i bweru gan AI.
CRM, cyfrifeg ac awtomeiddio
- System gyfrifyddu misol ar gyfer siop ar-lein – prosiect i gwmni o'r Weriniaeth Tsiec.
- Mae QuestFlow yn adeiladwr SaaS Telegram gydag AI.
Mwy yn y portffolio. Ddim yn siŵr beth i'w gynnwys? Anfonwch gyfeiriad eich gwefan ataf yn Telegram – byddaf yn awgrymu rheolau ar gyfer eich strwythur.
Canlyniad
- Mae'r generadur robots.txt ar-lein yn creu ffeil gywir mewn pum munud: rhagosodiad, llwybrau, map safle, baneri.
- Caewch y panel gweinyddol, y bin ailgylchu, y ffolderi chwilio a gwasanaeth; peidiwch â chau CSS, JS, y catalog na'r blog.
- Nid yw robots.txt yn tynnu tudalennau o'r mynegai - dyma bwrpas
noindex. - Mae strwythur cymhleth, hidlwyr ac ieithoedd yn rheswm i ymddiried y gosodiad i arbenigwr neu adeiladu safle ar 1001site, lle mae mynegeio wedi'i ffurfweddu'n barod.
Crëwch eich ffeil robots.txt eich hun ar hyn o bryd gan ddefnyddio'r generadur robots.txt am ddim, ac os oes gennych unrhyw gwestiynau am y rheolau, ysgrifennwch ataf ar Telegram.
Ffynonellau
- Tudalen offeryn Cynhyrchydd robots.txt PromoPilot — gosodiadau, rhagosodiadau, a chwestiynau tudalen.
- Google Search Central - Sut i Greu a Chyflwyno Ffeil Robots.txt.
- Dogfennaeth Next.js - ffeil metadata robotiaid.
