Kort antwoord: om online een robots.txt-bestand te maken, open je de robots.txt-generator van PromoPilot, selecteer je een preset (Aangepast, Alles toestaan, Alles weigeren, WordPress, Laravel of Next.js), voer je de paden in voor 'Verboden' en 'Toestaan', voer je het websiteadres in voor de sitemap-regel en vink je eventueel 'Crawl-vertraging' of 'AI-crawlers blokkeren' aan. Het voltooide bestand verschijnt aan de rechterkant; je kunt het kopiëren of downloaden. Het is gratis en je hoeft je niet te registreren.
Ik schrijf robots.txt voor elke nieuwe website en weet hoe makkelijk het is om handmatig fouten te maken: een extra spatie, een vergeten schuine streep, een regel buiten een blok. De robots.txt-builder lost dit probleem op: je hoeft alleen maar na te denken over wat je moet afsluiten, niet over de syntaxis. Hieronder leggen we uit hoe je de builder gebruikt, wat je moet afsluiten en waar je het voltooide bestand kunt plaatsen.
Wat doet de robots.txt-generator?
De generator is een formulier in plaats van een teksteditor. Je selecteert de instellingen en de tool voegt ze samen tot een geldig bestand dat in een live preview wordt weergegeven.
| Instellen | Wat stelt | Waarom heeft de site dit nodig? |
|---|---|---|
| Voorinstelling | Aangepast, Alles toestaan, Alles weigeren, WordPress, Laravel, Next.js | Een kant-en-klaar uitgangspunt voor uw motor |
| Website-URL | Adres voor Sitemap | Robots vinden de sitemap zelf |
| Paden niet toestaan | Niet-te scannen gedeelten, één per regel. | De robot verspilt geen tijd aan het beheerderspaneel en de servicepagina's. |
| Paden toestaan | Uitzonderingen binnen gesloten secties | Open het gewenste bestand in een gesloten map. |
| Crawl-vertraging (10 sec) | Pauzeer tussen robotverzoeken | Het ontlasten van een zwakke server voor robots die daar rekening mee houden. |
| AI-crawlers blokkeren | Verbanning voor GPTBot, Claude en andere AI-bots | Bepaal wie jouw content gebruikt. |
| Voorbeeld bekijken, kopiëren, downloaden | Het voltooide robots.txt -bestand | Je kunt het direct naar de server uploaden. |
Het is belangrijk om de beperking te begrijpen: de generator maakt een bestand aan, maar controleert geen bestaand bestand. Als je al een robots.txt-bestand hebt en daarin fouten wilt vinden, moet je dat bestand analyseren. Het artikel in de volgende sectie gaat hierover.
Hoe maak je online een robots.txt-bestand aan?
- Open de robots.txt-generator.
- Selecteer een voorinstelling voor uw motor. Als uw motor niet in de lijst staat, kies dan 'Aangepast'.
- Voer het websiteadres in:
https://example.com. Hiermee wordt eenSitemapaangemaakt. - Voeg verboden paden toe, één per regel:
/admin/,/tmp/,/search/. - Voeg indien nodig 'Toestaan uitzonderingen' toe binnen beperkte mappen, zoals
/uploads/images/. - Vink de volgende vakjes aan: Sitemap, Crawlvertraging, AI-crawlers blokkeren.
- Kopieer of download het bestand en upload het naar de hoofdmap van de website.
Aan de linkerkant van de pagina staan de instellingen en aan de rechterkant een live voorbeeld van het bestand met de knoppen "Kopiëren" en "robots.txt downloaden".
Het bestand moet zich strikt in de root van het domein bevinden: https://example.com/robots.txt. Robots zal het niet vinden in /blog/robots.txt of op een ander subdomein; elk subdomein heeft zijn eigen robots.txt-bestand.
Waar je het gedownloade bestand precies moet uploaden, hangt af van het platform:
- Reguliere hosting - via de bestandsbeheerder van het paneel of FTP naar de map waar de hoofdpagina zich bevindt (vaak
public_htmlofwww). - WordPress gebruikt een virtueel robots.txt-bestand als er geen fysiek bestand is. Door het bestand naar de rootmap te uploaden, wordt dit vervangen; een tweede optie is om de bestandseditor in de SEO-plugin te gebruiken.
- Next.js en andere frameworks — het bestand wordt in de
publicmap geplaatst of gegenereerd vanuit de projectcode, zodat het niet verloren gaat tijdens de volgende implementatie. - Websitebouwers - het bestand wordt meestal bewerkt in de SEO-instellingen in plaats van handmatig geüpload.
Het bestand moet de naam robots.txt hebben (in kleine letters) en als platte tekst in UTF-8-codering worden opgeslagen. Open het bestand na het downloaden in uw browser: als u uw tekst ziet, is alles in orde.
Wat moet wel en wat moet niet worden afgesloten in robots.txt?
Het belangrijkste principe: sluit alles wat geen toegevoegde waarde biedt voor de zoekopdracht en de tijd van de robot verspilt. Sluit niets dat essentieel is voor de robot om de pagina te begrijpen.
Meestal gesloten:
- Beheerpaneel en persoonlijk account:
/admin/,/wp-admin/,/account/; - winkelwagen en afrekenen:
/cart/,/checkout/; - interne zoekopdracht:
/search/,/?s=; - Service- en tijdelijke mappen:
/tmp/,/cgi-bin/; - Eindeloze combinaties van filters en sorteeropties - handig, maar alleen als er aparte landingspagina's zijn voor de benodigde filters.
Nooit sluiten:
- CSS, JavaScript en afbeeldingen: zonder deze elementen zal Google de pagina niet op dezelfde manier interpreteren als een mens.
- catalogus, blog, productkaarten en landingspagina's;
- Pagina's die je uit de index wilt verwijderen, heb je
noindexnodig, en de robot moet dit kunnen lezen.
Dit is het bestand dat je krijgt voor een typische WordPress webshop met WooCommerce:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /?s=
Sitemap: https://example.com/sitemap.xml
Wat betreft vlaggen: Google houdt geen rekening met crawlvertraging – schakel deze alleen in als uw server last heeft van andere bots. Het blokkeren van AI-crawlers is een zakelijke beslissing: als u wilt dat ChatGPT, Gemini en Perplexity u kennen en aanbevelen, blokkeer dan hun toegang niet.
Een ander praktisch punt is de testversie van de site. Gebruik voor de testversie de preset "Alles weigeren", maar zorg ervoor dat je het bestand vervangt bij het opstarten: een vergeten Disallow: / is vaak de oorzaak van een lagere bezoekersaantallen op nieuwe sites.
Vergelijking: PromoPilot Generator en andere manieren om een Robots.txt-bestand te maken
| Manier | Wat is gratis? | Beperkingen | Voor wie is het geschikt? |
|---|---|---|---|
| PromoPilot — Robots.txt Generator | Voorinstellingen, Verbieden en Toestaan, Sitemap, Crawlvertraging, AI-botblokkering, downloaden | Je moet het bestand zelf naar de server uploaden. | Voor beginners en iedereen die de syntaxis niet wil onthouden. |
| Editor in een WordPress SEO-plugin (bijv. Yoast SEO) | Een bestand rechtstreeks bewerken vanuit het beheerderspaneel | Voor WordPress moet je de syntax zelf schrijven. | Voor eigenaren WordPress websites |
| Robots-bestand in Next.js | Het robots.txt-bestand wordt gegenereerd op basis van de projectcode. | Ontwikkelaar gezocht | Next.js -projecten |
| Teksteditor | Volledige vrijheid | Makkelijk om fouten te maken, geen aanwijzingen | Voor degenen die de standaard uit hun hoofd kennen. |
Conclusie: De generator is de snelste manier om een geldig bestand te verkrijgen zonder de syntax te kennen. De plugin en projectcode zijn handig wanneer het bestand moet worden aangepast aan de website.
De generator is een van de 87 gratis SEO-tools van PromoPilot. Nadat je het bestand hebt gedownload, controleer je het met een robots.txt-analyser en gebruik je de sitemap.xml-generator voor de sitemap-regel. Beide tools worden behandeld in de aangrenzende artikelen in dit gedeelte.
Beperkingen van de generator: wat hij niet voor u kan doen
De generator kent de structuur van uw site niet. De WordPress voorinstelling sluit de gebruikelijke servicepaden af, maar zal niet raden dat de filters van uw winkel zich in /filter/ bevinden en de interne zoekfunctie in /find/. U moet deze paden zelf invoeren.
Het bestand wordt niet geüpload naar de server en er wordt ook niet gecontroleerd of het bestand toegankelijk is via /robots.txt met een statuscode 200. Open na het uploaden het adres in een browser of voer het in een parser in.
En het vervangt noindex niet: als het doel is om pagina's uit de zoekresultaten te verwijderen, is robots.txt niet geschikt. Ten slotte beschermt het bestand uw gegevens niet: het is openbaar en iedereen kan lezen welke gedeeltes u hebt vergrendeld. Geheimen worden achter een wachtwoord verborgen.
Wanneer is een gratis tool niet genoeg?
Het genereren van een bestand duurt vijf minuten. Beslissen wat je wilt vergrendelen op een website met duizenden pagina's is een hele klus. Je hebt een specialist nodig als:
- De winkel heeft honderden filtercombinaties, en sommige daarvan genereren verkeer;
- De website is meertalig, met subdomeinen of aparte mappen voor de verschillende talen;
- Na het aanpassen van robots.txt daalde het verkeer, en het is onduidelijk welke regel hiervoor verantwoordelijk is;
- Je moet robots.txt, metatags, canonical tags en sitemap in één systeem integreren.
Wat kan ik voor uw website doen?
Mijn naam is Valeriy Danyuk. Ik ben een ontwikkelaar en SEO-specialist met 12 jaar ervaring en meer dan 200 klanten. Een correct robots.txt-bestand is een vast onderdeel van elke website die ik bouw.
SEO en promotie
- Kant-en-klare SEO-audit: robots.txt, noindex, canonical tags en sitemap als één geïntegreerd systeem, niet als een verzameling willekeurige regels.
- Een door AI aangedreven SEO-blog die organische leads genereert.
- Een meertalige website zonder vertaler — waar robots.txt en sitemap rekening moeten houden met alle talen.
Websites en webwinkels
- WooCommerce webwinkel: meer dan 40 sjablonen, €299 — inclusief robots.txt voor winkelwagen, filters en afrekenen.
- Een website op 1001site, waar de sitemap en indexering automatisch worden geconfigureerd. Wat is het verschil met een websitebouwer met een abonnementsmodel? Tilda versus AI-gestuurde websiteanalyse.
CRM, boekhouding en automatisering
- Een maandelijks boekhoudsysteem voor een webwinkel – een project voor een bedrijf uit Tsjechië.
- QuestFlow is een SaaS-tool Telegram bots met AI.
Meer in het portfolio. Weet je niet zeker wat je wilt behandelen? Stuur me je websiteadres via Telegram – dan geef ik je suggesties voor de structuur van je website.
Resultaat
- De online robots.txt-generator maakt binnen vijf minuten een correct bestand aan: inclusief presets, paden, sitemap en vlaggen.
- Sluit het beheerderspaneel, de prullenbak, de zoekfunctie en de servicemappen; sluit CSS, JS, de catalogus en de blog niet.
- robots.txt verwijdert geen pagina's uit de index - daarvoor is
noindexbedoeld. - Een complexe structuur, filters en talen zijn redenen om de installatie aan een specialist over te laten of een website te bouwen op 1001site, waar indexering standaard is geconfigureerd.
Maak nu je eigen robots.txt-bestand aan met de gratis robots.txt-generator, en als je vragen hebt over de regels, kun je me een bericht sturen via Telegram.
Bronnen
- De pagina van de robots.txt-generator van PromoPilot: instellingen, voorinstellingen en veelgestelde vragen.
- Google Search Central - Zo maak je een robots.txt-bestand aan en dien je het in.
- Next.js -documentatie - robots-metadatabestand.
