Sjekke robots.txt på nett: hvordan finne feil som skjuler nettstedet ditt fra søkemotorer

Det korte svaret: For å sjekke robots.txt på nettet, skriv inn domenet ditt i PromoPilots robots.txt-analyseverktøy og klikk på «Analyser». Verktøyet vil automatisk laste ned filen, analysere alle direktiver (Tillat, Ikke tillat, Gjennomsøkingsforsinkelse, Nettstedkart), vise brukeragentblokker og robotene de målretter seg mot, finne syntaksfeil og risikable regler, sjekke tilgjengeligheten av kritiske URL-er og gi anbefalinger. Det er gratis og krever ingen registrering.

Den dyreste linjen jeg noen gang har sett i noen andres robots.txt-fil var « Disallow: /», en rest fra utviklingen. Nettstedet ble lansert, det ble betalt for reklame, men den organiske trafikken forble på null i tre uker fordi roboter ble blokkert fra å besøke alle sider.

Hva sjekker robots.txt-analyse?

Robots.txt er en kort tekstfil i roten av et nettsted, men det er lett å gjøre en feil: én ekstra skråstrek endrer betydningen av en regel. Verktøyet leser filen på samme måte som søkeroboter gjør.

Et eksempel på et resultat fra verktøybeskrivelsen: «2 potensielt risikable «Disallow»-regler og 1 manglende «Sitemap»-direktiv funnet.» Dette er typene funn som fortjener spesiell oppmerksomhet.

Hvordan sjekke robots.txt på nett?

1. Åpne verktøyet. Robots.txt-analyse fungerer i nettleseren.
2. Skriv inn domenet: https://example.com. Filen lastes ned automatisk til /robots.txt.
3. Klikk på «Analyser».
4. Se gjennom listen over direktiver for brukeragentblokker.
5. Analyser feil og risikable regler – dette er hovedpoenget i rapporten.
6. Rett filen på serveren eller i CMS-innstillingene og kjør sjekken på nytt.

Verktøyside: adressefelt, «Analyser»-knapp og beskrivelse – hva som er sjekket, scenarier og begrensninger.

Sjekk robots.txt i to viktige situasjoner: før du lanserer en ny versjon av nettstedet ditt og etter enhver flytting. Det er da testbegrensninger mest sannsynlig vil migrere til produksjonsversjonen. Det er også nyttig å sjekke konkurrentens robots.txt-fil: de begrensede delene viser hvilke sider de anser som tjenestesider og hvordan katalogen deres er strukturert.

Hvordan lese resultatet, og hva må korrigeres først?

Gå fra regler som dekker hele nettstedet til kosmetikk.

1. Disallow: / i User-agent: * -blokken. Hele nettstedet er stengt. Hvis dette ikke er en testversjon, fjern denne linjen umiddelbart.
2. Viktige seksjoner er lukket. Disallow: /catalog lukker ikke bare katalogen, men også alt som begynner med disse tegnene, for eksempel /catalog-sale/. Reglene er basert på begynnelsen av stien, og store og små bokstaver er viktig.
3. CSS, JS og bilder er blokkert. En regel som Disallow: /wp-content/ hindrer Google i å se siden slik et menneske ville gjort. Robotsøkemotoren skal laste inn stiler og skript.
4. Det finnes ingen linje i nettstedskartet, eller den fører til 404. Vennligst oppgi hele nettstedskartadressen sammen med protokollen.
5. Syntaks. Skrivefeil i direktivnavn, regler utenfor brukeragentblokken og tomme linjer i blokken – roboter ignorerer ugyldige linjer, og regelen feiler stille.
6. Direktiver som Google ikke støtter. Google ignorerer Crawl-delay, og Google støtter ikke Noindex i robots.txt. Hvis du stoler på disse, gjelder ikke denne regelen.

Et eksempel på en riktig fil for et WordPress nettsted:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Administrasjonspanelet, det interne søket og sidene for butikkverktøyet er lukket, AJAX-håndtereren (som deler av nettstedet ikke kan brytes uten) er aktivert, og nettstedskartet er spesifisert. Alt annet er aktivert som standard.

Hvordan vet du om en bestemt URL er åpen hvis det finnes flere regler? Google bruker den mest spesifikke regelen – den med den lengste stien. Hvis en fil inneholder Disallow: /blog/ og Allow: /blog/seo/, er siden /blog/seo/proverka/ åpen, og /blog/news/ er lukket. Hvis stiene er like lange, vinner allow-regelen. Stjernen * representerer en hvilken som helst tegnsekvens, og $ markerer slutten på URL-en: Disallow: /*.pdf$ lukker alle PDF-filer, men ikke siden /pdf-guide/.

Et annet vanlig funn er flere blokker for den samme roboten, eller en felles blokk som overlapper en separat. Hvis en fil inneholder User-agent: Google bot, leser Google bot bare denne blokken og ignorerer fullstendig reglene i User-agent: *. Derfor må alle nødvendige restriksjoner dupliseres i blokken.

Et eget tema for 2026 er AI-crawlere. User-agent: GPTBot blokkeringen med Disallow: / hindrer OpenAI i å gjennomsøke nettstedet. Dette er din avgjørelse, men husk: hvis et nettsted er stengt for AI-boter, er det vanskeligere for assistenter å anbefale det.

Sammenligning: PromoPilot robots.txt-analyse og alternativer

Konklusjon: Search Console viser hvordan Google ser filen, men bare for nettstedet ditt. Nettbasert analyse fungerer med alle domener og forklarer hva som er galt.

Robots.txt-analyse er et av PromoPilots 87 gratis SEO-verktøy. Hvis du ikke har en robots.txt-fil, eller det er enklere å skrive den om fra bunnen av, kan du sjekke den relaterte artikkelen i robots.txt-generatordelen – der finner du en visuell bygger for å opprette filen. Og for å sjekke selve nettstedskartet finnes det et eget sitemap.xml-analyseverktøy.

Begrensninger: Hvilken robots.txt-sjekk erstatter ikke?

Dette verktøyet sjekker bare robots.txt-filen og erstatter ikke en revisjon av robots-metatagger på sidenivå. En side kan være åpen i robots.txt, men blokkert av en noindex -metatag eller en X-Robots-Tag -header. Slike begrensninger bør oppdages ved å utføre en sidesjekk eller en fullstendig revisjon.

Ulike søkemotorer tolker ikke-standardiserte direktiver forskjellig. Det én søkemotor støtter, vil en annen ignorere i stillhet. Stol på standarddirektivene User-agent, Allow, Disallow og Sitemap – alle større søkemotorer forstår dem.

Og husk: robots.txt er ikke sikkerhetsfil. Den ber høflig roboter om ikke å gå inn, men den blokkerer ikke tilgang. Administrasjonspanelet og personopplysningene er beskyttet med et passord, ikke en «Ikke tillatt»-linje. Dessuten er robots.txt åpen for alle: ved å liste opp «hemmelige» seksjoner i den, eksponerer du dem for nysgjerrige personer.

Når er et gratis verktøy ikke nok?

Å finne en risikabel regel er halve jobben. Å bestemme hvilke seksjoner som skal stenges er allerede en strategi. Du trenger en spesialist hvis:

• Butikken har tusenvis av sider med filtre og sorteringsalternativer, og det er ikke klart hvilken av dem som skal lukkes;
• Nettstedet falt ut av søkeresultatene, men robots.txt «ser ut til å være i orden»;
• robots.txt genereres av CMS-et eller plugin-modulen, og endringene dine overskrives;
• Vi må avgjøre om vi skal aktivere AI-roboter og hvordan dette vil påvirke synligheten i assistenter.

Hva kan jeg gjøre for nettstedet ditt?

Mitt navn er Valeriy Danyuk, og jeg er en utvikler og SEO-spesialist med 12 års erfaring og over 200 kunder. Robots.txt, metakoder og nettstedskart er det første jeg sjekker i hver revisjon.

SEO og promotering

• Nøkkelferdig SEO-revisjon: robots.txt, noindex, canonical, sitemap og ekte indeksering – med korrigeringer.
• Autoblog med AI-agenter er et menneskefritt redaksjonsteam som publiserer artikler og umiddelbart åpner dem for indeksering.
• GEO: Hvordan et hotell ble omtalt i ChatGPT, Gemini og Perplexity – en casestudie om synlighet i AI-assistentresponser.

Nettsteder og nettbutikker

• En WordPress nettside med en AI-assistent for €299 – med en skikkelig robots.txt-fil og nettstedskart fra dag én.
• Nettsted på 1001site: nettstedskart, strukturerte data og AI-bot-indeksering konfigureres automatisk.

CRM, regnskap og automatisering

• ERP, nettsted og AI-drevet Telegram bot for automatisk demontering på 6 dager.
• En dropshipping-plattform med partnerbutikker – der hver butikk krever sin egen gyldige robots.txt-fil.

Alle sakene er i porteføljen. Send meg adressen din på Telegram, så leser jeg robots.txt-filen din og gir deg beskjed om jeg har lukket noen unødvendige seksjoner.

Resultat

1. Å sjekke robots.txt på nett på bare et minutt avslører regler som skjuler et nettsted eller deler av det fra roboter.
2. Rett i rekkefølge: Disallow: / → lukkede seksjoner → CSS og JS → Nettstedkart → syntaks.
3. Disallow fjerner ikke en side fra indeksen; dette krever noindex på den åpne siden.
4. Hvis robots.txt genereres av CMS-et og redigeringene ikke fester seg, er det enklere å overlate oppsettet til en spesialist eller bytte til 1001site, hvor indeksering konfigureres fra starten av.

Sjekk filen din nå: kjør en gratis robots.txt-analyse, og hvis du finner noen risikable regler, skriv til meg på Telegram.

Kilder

• PromoPilots analyseverktøyside for robots.txt – sjekker, eksempelresultater og spørsmål til siden.
• Google Søkesentral – Introduksjon til robots.txt og støttede direktiver.
• Hjelp for Google Search Console – Robots.txt-rapport.