Het robots.txt-bestand online controleren: hoe vind je fouten die ervoor zorgen dat je site niet vindbaar is voor zoekmachines?

Het korte antwoord: om robots.txt online te controleren, voer je je domein in de robots.txt-analysetool van PromoPilot in en klik je op 'Analyseren'. De tool downloadt automatisch het bestand, analyseert alle richtlijnen (Toestaan, Niet toestaan, Crawlvertraging, Sitemap), toont User-Agent-blokkeringen en de robots waarop ze gericht zijn, vindt syntaxfouten en risicovolle regels, controleert de beschikbaarheid van kritieke URL's en geeft aanbevelingen. Het is gratis en registratie is niet nodig.

De duurste regel die ik ooit in iemands robots.txt-bestand ben tegengekomen, was " Disallow: / ", een overblijfsel uit de ontwikkelfase. De site werd gelanceerd, er werd betaald voor advertenties, maar het organische verkeer bleef drie weken lang op nul omdat robots de toegang tot alle pagina's werd ontzegd.

Wat controleert de robots.txt-analyse?

Robots.txt is een kort tekstbestand in de rootmap van een website, maar het is makkelijk om er een fout in te maken: één extra schuine streep verandert de betekenis van een regel. De tool leest het bestand op dezelfde manier als zoekrobots.

Een voorbeeld van een resultaat uit de toolbeschrijving: "2 potentieel risicovolle 'Disallow'-regels en 1 ontbrekende 'Sitemap'-richtlijn gevonden." Dit soort bevindingen verdienen speciale aandacht.

Hoe kan ik robots.txt online controleren?

1. Open de tool. De analyse van robots.txt werkt in de browser.
2. Voer het domein in: https://example.com. Het bestand wordt automatisch gedownload naar /robots.txt.
3. Klik op "Analyseren".
4. Bekijk de lijst met richtlijnen voor User-agent-blokken.
5. Analyseer fouten en risicovolle regels - dat is het belangrijkste onderdeel van het rapport.
6. Corrigeer het bestand op de server of in de CMS-instellingen en voer de controle opnieuw uit.

Toolpagina: adresveld, knop "Analyseren" en beschrijving – wat er wordt gecontroleerd, scenario's en beperkingen.

Controleer robots.txt in twee essentiële situaties: vóór de lancering van een nieuwe versie van je website en na elke migratie. Dit is het moment waarop testbeperkingen het meest waarschijnlijk naar de productieversie worden overgezet. Het is ook nuttig om het robots.txt-bestand van je concurrent te bekijken: de beperkte secties laten zien welke pagina's zij als servicepagina's beschouwen en hoe hun directorystructuur is opgebouwd.

Hoe moet ik het resultaat interpreteren en wat moet ik als eerste corrigeren?

Ga van regels die voor de hele site gelden naar regels die specifiek op de cosmetica van toepassing zijn.

1. Disallow: / in User-agent: * blok is verboden. De hele site wordt afgesloten. Als dit geen testversie is, verwijder deze regel dan onmiddellijk.
2. Belangrijke secties zijn afgesloten. Disallow: /catalog sluit niet alleen de map, maar ook alles wat met deze tekens begint, zoals /catalog-sale/. De regels zijn gebaseerd op het begin van het pad, en hoofdlettergevoeligheid is belangrijk.
3. CSS, JavaScript en afbeeldingen worden geblokkeerd. Een regel zoals Disallow: /wp-content/ voorkomt dat Google de pagina op dezelfde manier kan bekijken als een mens. De crawler zou stijlen en scripts wel moeten laden.
4. Er is geen sitemap-regel of deze leidt naar een 404-fout. Geef het volledige sitemap-adres inclusief protocol op.
5. Syntaxis. Typfouten in de namen van instructies, regels buiten het User-Agent-blok en lege regels binnen het blok – robots negeren ongeldige regels en de regel mislukt stilzwijgend.
6. Richtlijnen die Google niet ondersteunt. Google negeert Crawl-delay en Google ondersteunt geen Noindex in robots.txt. Als je hierop vertrouwt, is deze regel niet van toepassing.

Een voorbeeld van een correct bestand voor een WordPress site:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/

Sitemap: https://example.com/sitemap.xml

Het beheerderspaneel, de interne zoekfunctie en de pagina's met winkelhulpmiddelen zijn gesloten, de AJAX-handler (zonder welke delen van de site niet werken) is ingeschakeld en de sitemap is gespecificeerd. Al het overige is standaard ingeschakeld.

Hoe weet je of een specifieke URL open is als er meerdere regels zijn? Google past de meest specifieke regel toe: die met het langste pad. Als een bestand Disallow: /blog/ als Allow: /blog/seo/ bevat, is de pagina /blog/seo/proverka/ open en /blog/news/ gesloten. Als de paden even lang zijn, wint de Allow-regel. Het sterretje ( * staat voor elke willekeurige reeks tekens en $ markeert het einde van de URL: Disallow: /*.pdf$ sluit alle PDF-bestanden, behalve de pagina /pdf-guide/.

Een andere veelvoorkomende bevinding is dat er meerdere blokken voor dezelfde robot zijn, of dat een gemeenschappelijk blok een apart blok overlapt. Als een bestand User-agent: Google bot bevat, leest Google bot alleen dit blok en negeert de regels in User-agent: * volledig. Daarom moeten alle noodzakelijke beperkingen in het betreffende blok worden gedupliceerd.

Een apart onderwerp voor 2026 zijn AI-crawlers. User-agent: GPTBot met Disallow: / voorkomt dat OpenAI de site crawlt. Dit is uw beslissing, maar houd er rekening mee: als een site gesloten is voor AI-bots, is het voor assistenten moeilijker om deze aan te bevelen.

Vergelijking: Analyse van het robots.txt-bestand van PromoPilot en alternatieven

Conclusie: Search Console laat zien hoe Google het bestand ziet, maar alleen voor jouw website. Online analyse werkt met elk domein en legt uit wat er mis is.

Robots.txt-analyse is een van de 87 gratis SEO-tools van PromoPilot. Als je geen robots.txt-bestand hebt of het makkelijker vindt om er zelf een te schrijven, bekijk dan het gerelateerde artikel in de sectie over robots.txt-generatoren. Daar vind je een visuele tool om het bestand te maken. Voor het controleren van de sitemap zelf is er een aparte tool voor sitemap.xml-analyse.

Beperkingen: Wat wordt er niet vervangen door de robots.txt-controle?

Deze tool controleert alleen het robots.txt-bestand en vervangt geen audit van de robots-metatag op paginaniveau. Een pagina kan in robots.txt geopend zijn, maar geblokkeerd worden door een noindex -metatag of een X-Robots-Tag header. Dergelijke beperkingen moeten worden gedetecteerd door een paginacontrole of een volledige audit uit te voeren.

Verschillende zoekmachines interpreteren niet-standaard richtlijnen verschillend. Wat de ene zoekmachine ondersteunt, zal de andere stilzwijgend negeren. Vertrouw op de standaardrichtlijnen User-agent, Allow, Disallow en Sitemap — alle belangrijke zoekmachines begrijpen deze.

En vergeet niet: robots.txt is geen beveiliging. Het verzoekt robots beleefd om geen toegang te krijgen, maar het blokkeert de toegang niet. Het beheerderspaneel en persoonlijke gegevens worden beschermd met een wachtwoord, niet met een "Disallow"-regel. Bovendien is robots.txt voor iedereen toegankelijk: door "geheime" secties erin op te nemen, stel je ze bloot aan nieuwsgierige mensen.

Wanneer is een gratis tool niet genoeg?

Het vinden van een risicovolle regel is al de helft van het werk. Beslissen welke secties gesloten moeten worden, is op zich al een strategie. Je hebt een specialist nodig als:

• De winkel heeft duizenden pagina's met filters en sorteeropties, en het is onduidelijk welke daarvan gesloten moeten worden;
• De site is uit de zoekresultaten verdwenen, maar robots.txt "lijkt in orde te zijn";
• Het robots.txt-bestand wordt gegenereerd door het CMS of de plugin, en uw wijzigingen worden daarin overschreven;
• We moeten beslissen of we AI-crawlers inschakelen en hoe dit de zichtbaarheid in assistenten zal beïnvloeden.

Wat kan ik voor uw website doen?

Mijn naam is Valeriy Danyuk, en ik ben een ontwikkelaar en SEO-specialist met 12 jaar ervaring en meer dan 200 klanten. Robots.txt, metatags en sitemaps zijn de eerste dingen die ik controleer bij elke audit.

SEO en promotie

• Kant-en-klare SEO-audit: robots.txt, noindex, canonical tags, sitemap en daadwerkelijke indexering – inclusief correcties.
• Autoblog met AI-agenten is een redactieteam zonder menselijke tussenkomst dat artikelen publiceert en ze direct beschikbaar stelt voor indexering.
• GEO: Hoe een hotel werd uitgelicht in ChatGPT, Gemini en Perplexity — Een casestudy over zichtbaarheid in reacties van AI-assistenten.

Websites en webwinkels

• Een WordPress website met een AI-assistent voor €299 — inclusief een degelijk robots.txt-bestand en sitemap vanaf dag één.
• Website op 1001site: sitemap, gestructureerde data en AI-bot-indexering worden automatisch geconfigureerd.

CRM, boekhouding en automatisering

• ERP-systeem, website en AI-gestuurde Telegram bot voor automatische demontage binnen 6 dagen.
• Een dropshippingplatform met partnerwinkels, waarbij elke winkel een eigen geldig robots.txt-bestand nodig heeft.

Alle cases staan in het portfolio. Stuur me je adres via Telegram, dan lees ik je robots.txt en laat ik je weten of ik onnodige secties heb verwijderd.

Resultaat

1. Door robots.txt online te raadplegen, ontdek je in slechts een minuut de regels die een site of bepaalde onderdelen ervan voor robots verbergen.
2. Aanpassingen in de volgende volgorde: Disallow: / → gesloten secties → CSS en JS → Sitemap → syntax.
3. Disallow verwijdert een pagina niet uit de index; hiervoor is noindex op de geopende pagina vereist.
4. Als het robots.txt-bestand door het CMS wordt gegenereerd en de wijzigingen niet worden opgeslagen, is het eenvoudiger om de configuratie aan een specialist over te laten of over te stappen naar 1001site, waar indexering standaard is geconfigureerd.

Controleer je bestand nu meteen: voer een gratis robots.txt-analyse uit en als je risicovolle regels vindt, stuur me dan een bericht via Telegram.

Bronnen

• De pagina van PromoPilot over de analyse van robots.txt-bestanden: controles, voorbeeldresultaten en veelgestelde vragen.
• Google Search Central - Inleiding tot robots.txt en ondersteunde richtlijnen.
• Help Google Search Console - Robots.txt-rapport.