A robots.txt online ellenőrzése: hogyan találhat hibákat, amelyek elrejtik webhelyét a keresőmotorok elől

A rövid válasz: a robots.txt online ellenőrzéséhez add meg a domainedet a PromoPilot robots.txt elemző eszközében, majd kattints az „Elemzés” gombra. Az eszköz automatikusan letölti a fájlt, elemzi az összes direktívát (Engedélyezés, Tiltás, Feltérképezés-késleltetés, Oldaltérkép), megjeleníti a felhasználói ügynökök blokkjait és az általuk célzott robotokat, szintaktikai hibákat és kockázatos szabályokat talál, ellenőrzi a kritikus URL-ek elérhetőségét, és ajánlásokat ad. Ingyenes és nem igényel regisztrációt.

A legdrágább sor, amivel valaha találkoztam valaki más robots.txt fájljában, a " Disallow: / " volt, egy fejlesztési maradék. Az oldal elindult, a hirdetésekért fizettek, de az organikus forgalom három hétig nulla maradt, mert a robotok blokkolták az összes oldal látogatását.

Mit ellenőrzi a robots.txt elemzése?

A Robots.txt egy rövid szövegfájl a weboldalak gyökerében, de könnyű hibázni: egy plusz perjel megváltoztatja a szabály jelentését. Az eszköz ugyanúgy olvassa be a fájlt, mint a keresőrobotok.

Példa az eszköz leírásából származó eredményre: „2 potenciálisan kockázatos Disallow szabály és 1 hiányzó webhelytérkép-utasítás található.” Az ilyen típusú találatok különös figyelmet érdemelnek.

Hogyan lehet online ellenőrizni a robots.txt fájlt?

1. Nyisd meg az eszközt. A Robots.txt elemzése a böngészőben működik.
2. Írja be a következő domaint: https://example.com. A fájl automatikusan letöltődik /robots.txt mappába.
3. Kattintson az „Elemzés” gombra.
4. Tekintse át a felhasználói ügynökök blokkjaira vonatkozó direktívák listáját.
5. Elemezd a hibákat és a kockázatos szabályokat - ez a jelentés lényege.
6. Javítsa ki a fájlt a szerveren vagy a CMS beállításaiban, és futtassa újra az ellenőrzést.

Eszközoldal: címmező, „Elemzés” gomb és leírás – mit ellenőriznek, forgatókönyvek és korlátozások.

Két lényeges esetben ellenőrizd a robots.txt fájlt: mielőtt elindítod a webhelyed új verzióját, és minden áthelyezés után. Ilyenkor a legvalószínűbb, hogy a tesztkorlátozások átkerülnek az éles verzióra. Hasznos ellenőrizni a versenytársad robots.txt fájlját is: a korlátozott részek megmutatják, hogy mely oldalakat tekintik szolgáltatásoldalaknak, és hogyan van felépítve a könyvtáruk.

Hogyan kell leolvasni az eredményt, és mit kell először korrigálni?

Térjünk át a teljes webhelyet lefedő szabályokról a kozmetikumokra.

1. Disallow: / User-agent: * blokkban. A teljes oldal le van zárva. Ha ez nem tesztverzió, azonnal távolítsd el ezt a sort.
2. A fontos szakaszok lezárásra kerülnek. Disallow: /catalog nemcsak a könyvtárat zárja be, hanem mindent, ami ezekkel a karakterekkel kezdődik, például /catalog-sale/. A szabályok az elérési út kezdetén alapulnak, és a kis- és nagybetűk fontosak.
3. A CSS, a JS és a képek blokkolva vannak. Az olyan szabályok, mint Disallow: /wp-content/ megakadályozzák, hogy Google úgy lássa az oldalt, ahogyan egy ember tenné. A robotnak be kell töltenie a stílusokat és a szkripteket.
4. Nincs oldaltérkép sor, vagy 404-es hibakódra vezet. Kérjük, adja meg a teljes oldaltérkép címét a protokollal együtt.
5. Szintaxis. Elgépelések az irányelvnevekben, a User-Agent blokkon kívüli szabályok és az üres sorok a blokkon belül – a robotok figyelmen kívül hagyják az érvénytelen sorokat, és a szabály csendben meghiúsul.
6. Google által nem támogatott direktívák. Google figyelmen kívül hagyja Crawl-delay direktívát, és Google nem támogatja Noindex a robots.txt fájlban. Ha ezekre hagyatkozik, ez a szabály nem érvényes.

Egy példa egy helyes fájlra egy WordPress webhelyhez:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Az adminisztrációs felület, a belső keresés és az áruház segédprogramjai zárva vannak, az AJAX-kezelő (amely nélkül a webhelytörés egyes részei) engedélyezve van, és az oldaltérkép meg van adva. Minden más alapértelmezés szerint engedélyezve van.

Honnan tudhatod, hogy egy adott URL meg van-e nyitva, ha több szabály is van rá? Google a legspecifikusabb szabályt alkalmazza – azt, amelyiknek a leghosszabb az útvonala. Ha egy fájl tartalmazza Disallow: /blog/ és Allow: /blog/seo/ elemeket is, akkor a /blog/seo/proverka/ oldal van nyitva, /blog/news/ pedig le van zárva. Ha az elérési utak azonos hosszúságúak, akkor az engedélyező szabály nyer. A csillag * tetszőleges karaktersorozatot jelöl, $ pedig az URL végét jelöli: Disallow: /*.pdf$ bezárja az összes PDF-fájlt, de a /pdf-guide/ oldalt nem.

Egy másik gyakori jelenség, hogy ugyanahhoz a robothoz több blokk tartozik, vagy egy közös blokk átfedésben van egy különállóval. Ha egy fájl tartalmazza User-agent: Google bot, Google bot csak ezt a blokkot olvassa, és teljesen figyelmen kívül hagyja a User-agent: * karakterláncban található szabályokat. Ezért minden szükséges korlátozást meg kell másolni a blokkjában.

Egy külön téma 2026-ra az AI robotok. User-agent: GPTBot blokk Disallow: / kapcsolóval megakadályozza, hogy az OpenAI feltérképezze az oldalt. Ez a te döntésed, de ne feledd: ha egy oldal le van tiltva az AI robotok számára, az asszisztensek nehezebben tudják ajánlani.

Összehasonlítás: PromoPilot robots.txt elemzés és alternatívák

Következtetés: A Search Console megmutatja, hogyan látja Google a fájlt, de csak a webhelyedre vonatkozóan. Az online elemzés bármilyen domainnel működik, és elmagyarázza, mi a probléma.

A Robots.txt elemzés a PromoPilot 87 ingyenes SEO eszközének egyike. Ha nincs robots.txt fájlod, vagy könnyebb a nulláról átírni, nézd meg a kapcsolódó cikket a robots.txt generátor részben – ott találsz egy vizuális szerkesztőt a fájl létrehozásához. Maga az oldaltérkép ellenőrzéséhez pedig van egy külön sitemap.xml elemző eszköz.

Korlátozások: Mit nem helyettesít a robots.txt ellenőrzése?

Ez az eszköz csak a robots.txt fájlt ellenőrzi, és nem helyettesíti az oldalszintű robots metacímke-auditot. Egy oldal meg lehet nyitva a robots.txt fájlban, de egy noindex metacímke vagy egy X-Robots-Tag fejléc blokkolja. Az ilyen korlátozásokat oldalellenőrzéssel vagy teljes audittal kell észlelni.

A különböző keresőmotorok eltérően értelmezik a nem szabványos direktívákat. Amit az egyik keresőmotor támogat, azt a másik csendben figyelmen kívül hagyja. A szabványos User-agent, Allow, Disallow és Sitemap hagyatkozz – ezeket minden nagyobb keresőmotor megérti.

És ne feledd: a robots.txt nem biztonsági funkció. Udvariasan megkéri a robotokat, hogy ne lépjenek be, de nem blokkolja a hozzáférést. Az adminisztrációs felületet és a személyes adatokat jelszó védi, nem pedig egy „Tiltás” sor. Sőt, a robots.txt mindenki számára nyitott: a „titkos” részek felsorolásával kiteszed azokat a kíváncsi embereknek.

Mikor nem elég egy ingyenes eszköz?

Egy kockázatos szabály megtalálása már fél siker. Már az is egy stratégia, hogy eldöntsük, mely szakaszokat zárjuk le. Szakértőre van szükségünk, ha:

• Az áruház több ezer oldalnyi szűrővel és rendezési lehetőséggel rendelkezik, és nem világos, hogy melyiket kell bezárni;
• a webhely kiesett a keresési találatok közül, de a robots.txt „úgy tűnik, rendben van”;
• A robots.txt fájlt a CMS vagy a bővítmény generálja, és a szerkesztések felülíródnak;
• El kell döntenünk, hogy engedélyezzük-e a mesterséges intelligenciával működő robotokat, és hogy ez hogyan fogja befolyásolni a láthatóságot az asszisztensekben.

Mit tehetek a weboldaladért?

Valerij Danjuk vagyok, fejlesztő és SEO szakember, 12 éves tapasztalattal és több mint 200 ügyféllel. A Robots.txt, a metacímkék és az oldaltérképek az elsők, amiket minden audit során ellenőrzök.

SEO és promóció

• Kulcsrakész SEO audit: robots.txt, noindex, kanonikus, oldaltérkép és valós indexelés – korrekciókkal.
• Az Autoblog mesterséges intelligencia által vezérelt ügynökökkel egy embermentes szerkesztői csapat, amely cikkeket tesz közzé, majd azonnal megnyitja azokat indexelésre.
• GEO: Hogyan került egy szálloda ChatGPT, Gemini és a Perplexity fórumokba – Esettanulmány a láthatóságról a mesterséges intelligencia által nyújtott asszisztens válaszaiban.

Weboldalak és online áruházak

• Egy WordPress weboldal mesterséges intelligenciával ellátott asszisztenssel 299 euróért — megfelelő robots.txt fájllal és oldaltérképpel az első naptól kezdve.
• Weboldal 1001site on: az oldaltérkép, a strukturált adatok és az AI-bot indexelés automatikusan konfigurálódik.

CRM, könyvelés és automatizálás

• ERP, weboldal és mesterséges intelligencia által vezérelt Telegram bot autóbontáshoz 6 nap alatt.
• Egy dropshipping platform partnerüzletekkel — ahol minden üzletnek saját érvényes robots.txt fájlra van szüksége.

Minden eset megtalálható a portfólióban. Küldd el Telegram címedet, és elolvasom a robots.txt fájlodat, és szólok, ha lezártam valamilyen felesleges részt.

Eredmény

1. A robots.txt online ellenőrzése mindössze egy perc alatt feltárja azokat a szabályokat, amelyek elrejtik a webhelyet vagy annak részeit a robotok elől.
2. Javítás sorrendben: Disallow: / → zárt szakaszok → CSS és JS → Oldaltérkép → szintaxis.
3. A Disallow nem távolít el egy oldalt az indexből; ehhez noindex szükséges a megnyitott oldalon.
4. Ha a robots.txt fájlt a CMS generálja, és a módosítások nem jegyezhetők meg, akkor egyszerűbb szakemberre bízni a beállítást, vagy átváltani 1001site -ra, ahol az indexelés alapértelmezés szerint konfigurálva van.

Ellenőrizd a fájlodat most azonnal: futtass egy ingyenes robots.txt elemzést, és ha kockázatos szabályokat találsz, írj nekem Telegram.

Források

• A PromoPilot robots.txt elemzőeszközének oldala — ellenőrzések, minta eredmények és oldalkérdések.
• Google Keresőközpont - Bevezetés a robots.txt-be és a támogatott direktívákba.
• Google Search Console súgó - Robots.txt jelentés.