Að athuga robots.txt á netinu: hvernig á að finna villur sem fela síðuna þína fyrir leitarvélum

Stutta svarið: til að athuga robots.txt á netinu skaltu slá inn lénið þitt í robots.txt greiningartólinu í PromoPilot og smella á „Greina“. Tólið mun sjálfkrafa hlaða niður skránni, greina allar tilskipanir (Leyfa, Banna, Skriðtöf, Veftré), birta notendaviðmótsblokkir og vélmennin sem þau miða á, finna setningafræðivillur og áhættusamar reglur, athuga framboð mikilvægra vefslóða og veita ráðleggingar. Það er ókeypis og krefst engra skráningar.

Dýrasta línan sem ég hef rekist á í robots.txt skrá annarra var „ Disallow: / “, sem var afgangsstaða frá þróun. Síðan var sett á laggirnar, auglýsingar voru greiddar en lífræn umferð var núll í þrjár vikur vegna þess að vélmennum var lokað fyrir að heimsækja allar síður.

Hvað athugar robots.txt greining?

Robots.txt er stutt textaskrá í rót vefsíðu, en það er auðvelt að gera mistök: eitt auka skástrik breytir merkingu reglu. Tólið les skrána á sama hátt og leitarvélmenni gera.

Dæmi um niðurstöðu úr lýsingu tólsins: „2 hugsanlega áhættusamar bannreglur og 1 vantar Sitemap-tilskipun fundust.“ Þetta eru þær tegundir niðurstaðna sem verðskulda sérstaka athygli.

Hvernig á að athuga robots.txt á netinu?

1. Opnaðu tólið. Greining á robots.txt skrám virkar í vafranum.
2. Sláðu inn lénið: https://example.com. Skráin verður sótt sjálfkrafa í /robots.txt.
3. Smelltu á „Greina“.
4. Farðu yfir listann yfir tilskipanir fyrir notendaviðskiptablokkir.
5. Greinið mistök og áhættusamar reglur - þetta er aðalatriðið í skýrslunni.
6. Leiðréttu skrána á þjóninum eða í stillingum CMS og keyrðu athugunina aftur.

Verkfærasíða: veffangsreitur, hnappur „Greina“ og lýsing — hvað er athugað, aðstæður og takmarkanir.

Athugaðu robots.txt skrána í tveimur mikilvægum tilvikum: áður en ný útgáfa af vefsíðunni þinni er sett á laggirnar og eftir allar breytingar. Þetta er þegar líklegast er að prófatakmarkanir flytjist yfir í framleiðsluútgáfuna. Það er líka gagnlegt að athuga robots.txt skrá samkeppnisaðilans: takmarkaðir hlutar sýna hvaða síður þeir telja þjónustusíður og hvernig skrá þeirra er uppbyggð.

Hvernig á að lesa niðurstöðuna og hvað þarf að leiðrétta fyrst?

Færið ykkur frá reglum sem ná yfir alla síðuna yfir í snyrtivörur.

1. Disallow: / í User-agent: * blokkinni. Öll síðan er lokuð. Ef þetta er ekki prufuútgáfa, fjarlægðu þessa línu strax.
2. Mikilvægir hlutar eru lokaðir. Disallow: /catalog lokar ekki aðeins möppunni heldur einnig öllu sem byrjar á þessum stöfum, eins og /catalog-sale/. Reglurnar eru byggðar á upphafi slóðarinnar og lág- og lágstöfum er mikilvægt.
3. CSS, JS og myndir eru blokkaðar. Reglur eins og Disallow: /wp-content/ koma í veg fyrir að Google sjái síðuna eins og manneskja myndi gera. Skriðvélin ætti að hlaða inn stílum og forskriftum.
4. Það er engin lína í vefkortinu eða hún leiðir að 404. Vinsamlegast gefðu upp allt vefkortsfangið með samskiptareglunum.
5. Setningafræði. Innsláttarvillur í nöfnum tilskipana, reglur utan User-Agent blokkarinnar og tómar línur innan blokkarinnar — vélmenni hunsa ógildar línur og reglan mistekst hljóðlega.
6. Leiðbeiningar sem Google styður ekki. Google hunsar Crawl-delay og Google styður ekki Noindex í robots.txt. Ef þú treystir á þessar gildir þessi regla ekki.

Dæmi um rétta skrá fyrir WordPress síðu:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Stjórnborðið, innri leit og síður með gagnsemi verslunarinnar eru lokaðar, AJAX meðhöndlunin (sem skiptir ekki yfir hluta vefsíðunnar) er virkjuð og vefkortið er tilgreint. Allt annað er virkt sjálfgefið.

Hvernig veistu hvort ákveðin vefslóð er opin ef margar reglur eru til staðar? Google notar nákvæmustu regluna - þá sem hefur lengstu slóðina. Ef skrá inniheldur Disallow: /blog/ og Allow: /blog/seo/, þá er síðan /blog/seo/proverka/ opin og /blog/news/ lokuð. Ef slóðirnar eru jafnlangar, þá vinnur leyfðu-reglan. Stjarnan * táknar hvaða stafaröð sem er og $ markar enda vefslóðarinnar: Disallow: /*.pdf$ lokar öllum PDF skrám, en ekki síðunni /pdf-guide/.

Önnur algeng niðurstaða er margar blokkir fyrir sama vélmennið, eða sameiginleg blokk sem skarast við aðra. Ef skrá inniheldur User-agent: Google bot, les Google bot aðeins þennan blokk og hunsar reglurnar í User-agent: * algjörlega. Þess vegna þarf að afrita allar nauðsynlegar takmarkanir í blokkinni.

Sérstakt efni fyrir árið 2026 eru gervigreindarveiðar. User-agent: GPTBot blokk með Disallow: / kemur í veg fyrir að OpenAI skríði síðuna. Þetta er þín ákvörðun, en hafðu í huga: ef síða er lokuð fyrir gervigreindarbotta er erfiðara fyrir aðstoðarmenn að mæla með henni.

Samanburður: Greining á PromoPilot robots.txt og valkostir

Niðurstaða: Search Console sýnir hvernig Google sér skrána, en aðeins fyrir síðuna þína. Netgreining virkar með hvaða léni sem er og útskýrir hvað er að.

Greining á robots.txt skrám er eitt af 87 ókeypis SEO verkfærum PromoPilot. Ef þú ert ekki með robots.txt skrá eða ef það er auðveldara að endurskrifa hana frá grunni, skoðaðu þá tengdu greinina í hlutanum um robots.txt skráarframleiðandann — þar finnur þú sjónrænan smíðara til að búa til skrána. Og til að athuga vefkortið sjálft er til sérstakt sitemap.xml greiningartól.

Takmarkanir: Hvaða robots.txt skráarathugun kemur ekki í staðinn fyrir?

Þetta tól athugar aðeins robots.txt skrána og kemur ekki í staðinn fyrir endurskoðun á lýsigögnum robots á síðustigi. Síða getur verið opin í robots.txt en lokuð af noindex lýsigögnum eða X-Robots-Tag haus. Slíkar takmarkanir ættu að vera greindar með því að framkvæma síðuathugun eða fulla endurskoðun.

Mismunandi leitarvélar túlka óhefðbundnar tilskipanir á mismunandi hátt. Það sem ein leitarvél styður, hunsar önnur hljóðlega. Treystu á hefðbundnar Sitemap eins og User-agent, Allow, Disallow og Sitemap — allar helstu leitarvélar skilja þær.

Og munið: robots.txt er ekki öryggiskóði. Það biður vélmenni kurteislega um að fara ekki inn, en það lokar ekki fyrir aðgang. Stjórnborðið og persónuupplýsingar eru vernduð með lykilorði, ekki með „Banna“ línu. Þar að auki er robots.txt opið öllum: með því að birta „leyni“ hluta í því birtir þú þá fyrir forvitnum einstaklingum.

Hvenær er ókeypis tól ekki nóg?

Að finna áhættusama reglu er hálfur sigurinn. Að ákveða hvaða köflum á að loka er þegar stefna. Þú þarft sérfræðing ef:

• Verslunin býður upp á þúsundir síðna af síum og flokkunarmöguleikum og það er ekki ljóst hvorum þeirra á að loka;
• Síðan datt úr leitarniðurstöðum en robots.txt skráin „virðist vera í lagi“;
• robots.txt skráin er búin til af CMS eða viðbót og breytingarnar þínar eru skrifaðar yfir;
• Við þurfum að ákveða hvort við eigum að virkja gervigreindarskriðlara og hvernig það mun hafa áhrif á sýnileika í aðstoðarmönnum.

Hvað get ég gert fyrir vefsíðuna þína?

Ég heiti Valeriy Danyuk og er forritari og SEO sérfræðingur með 12 ára reynslu og yfir 200 viðskiptavini. Robots.txt, lýsigögn og vefkort eru það fyrsta sem ég athuga í hverri úttekt.

SEO og kynning

• Tilbúin SEO endurskoðun: robots.txt, noindex, canonical, sitemap og raunveruleg vísitölugerð — með leiðréttingum.
• Autoblog með gervigreindaraðilum er ritstjórnarteymi án manns sem birtir greinar og opnar þær strax til flokkunar.
• GEO: Hvernig hótel varð aðaláherslan í ChatGPT, Gemini og Perplexity — Dæmisaga um sýnileika í svörum gervigreindaraðstoðarmanna.

Vefsíður og netverslanir

• WordPress vefsíða með gervigreindaraðstoðarmanni fyrir €299 — með réttri robots.txt skrá og vefkorti frá fyrsta degi.
• Vefsíða á 1001site: vefkort, skipulögð gögn og vísitölugerð með gervigreindarvélmenni eru stillt sjálfkrafa.

CRM, bókhald og sjálfvirkni

• ERP, vefsíða og gervigreindarknúinn Telegram þjónn fyrir sjálfvirka niðurrif á 6 dögum.
• Dropshipping-pallur með samstarfsverslunum — þar sem hver verslun krefst sinnar eigin gildu robots.txt skráar.

Öll mál eru í safninu. Sendu mér heimilisfangið þitt á Telegram og ég mun lesa robots.txt skrána þína og láta þig vita ef ég hef lokað einhverjum óþarfa köflum.

Niðurstaða

1. Að athuga robots.txt skrána á netinu á aðeins mínútu leiðir í ljós reglur sem fela síðu eða hluta hennar fyrir vélmennum.
2. Lagfæring í þeirri röð: Disallow: / → lokaðir hlutar → CSS og JS → Veftré → setningafræði.
3. „Banna“ fjarlægir ekki síðu úr atriðisorðaskránni; þetta krefst þess noindex á opnu síðunni.
4. Ef robots.txt skráin er búin til af CMS og breytingarnar festast ekki, er auðveldara að fela sérfræðingi uppsetninguna eða skipta yfir í 1001site, þar sem flokkun er stillt strax.

Athugaðu skrána þína núna: keyrðu ókeypis robots.txt greiningu og ef þú finnur einhverjar áhættusamar reglur, skrifaðu mér þá á Telegram.

Heimildir

• Greiningartólsíða PromoPilot fyrir robots.txt — athuganir, sýnishorn af niðurstöðum og spurningar á síðunni.
• Google Search Central - Kynning á robots.txt og studdum tilskipunum.
• Hjálp Google Search Console - Robots.txt skýrsla.