Is robots.txt nog steeds relevant?

Een klein tekstbestandje kan grote gevolgen hebben voor je website. Ik heb het ooit meegemaakt bij een klant: door één verkeerde regel in de robots.txt was de hele webshop onvindbaar in Google. Geen bezoekers, geen bestellingen en dat allemaal puur door een foutje van een paar tekens in het bestand robots.txt.

Daarom is robots.txt nog steeds relevant, maar het speelt in 2025 een andere rol dan vroeger. In dit artikel leg ik uit wat je ermee kunt, waar je voor moet oppassen en waarom het minder machtig is dan veel mensen denken.

 

Wat is robots.txt ook alweer?

Robots.txt is een simpel tekstbestand dat je in de hoofdmap van je website plaatst. Het vertelt zoekmachines en andere bots welke pagina’s ze wel of niet mogen crawlen.

Een simpel voorbeeld:

Met dit bestand zeg je: alle bots mogen overal kijken, behalve in de map /admin/.

 

Robots.txt anno 2025: wat is er veranderd?

• Zoekmachines zijn slimmer geworden. Robots.txt is niet meer hét middel om te bepalen wat er wel of niet in de zoekresultaten komt. Daarvoor gebruik je beter meta-tags of noindex.
• AI-bots en scrapers trekken zich er vaak weinig van aan. Een robots.txt kan netjes zijn, maar biedt geen echte bescherming.
• Toch handig voor Google: als je een grote site hebt, kan robots.txt helpen om crawl-budget te besparen en zo de belangrijke pagina’s sneller te laten indexeren.

 

Wat kun je er nog wél mee doen?

• Het uitsluiten van gevoelige maar niet-geheime bestanden (zoals scripts of interne testpagina’s).
• Het blokkeren van onbelangrijke of dubbele pagina’s (zoals zoekresultaten binnen je eigen site).
• Je sitemap toevoegen, zodat Google je site beter begrijpt:

 

Waarvoor is robots.txt niet geschikt?

• Het écht verbergen van gevoelige informatie (bijv. klantdata of wachtwoorden). Robots.txt is openbaar en dus zichtbaar voor iedereen.
• Het verwijderen van pagina’s uit Google. Gebruik daarvoor noindex-meta-tags of de URL-verwijdertool in Google Search Console.

 

Niet alle bots houden zich aan robots.txt

Hoewel gerenommeerde zoekmachines zoals Google, Bing en DuckDuckGo zich netjes aan de regels in je robots.txt houden, geldt dat helaas niet voor alle bots. Malafide crawlers, scrapers en spamrobots negeren deze instructies volledig. Sterker nog: sommige gebruiken robots.txt juist als een lijst van interessante mappen om te verkennen, vooral als je daar gevoelige directories in noemt zoals /backup/ of /private/.
Daarom is het belangrijk om:

• Geen vertrouwelijke paden in robots.txt te vermelden.
• Server-side beveiliging toe te passen (zoals IP-blocking, rate limiting of botdetectie via .htaccess of firewall).
• Te monitoren welke bots je site bezoeken via serverlogs of tools zoals Cloudflare.
• Robots.txt is dus een beleefde uitnodiging, geen afdwingbare regel. Voor echte bescherming heb je technische maatregelen nodig.

 

Veelgemaakte fouten

• Per ongeluk alles blokkeren.
  Disallow: / → hiermee blokkeer je de hele site voor zoekmachines.
  

  User-agent: *
  Disallow: /

  
  Dit betekent dat zoekmachines niets van je site mogen crawlen. Foutje dat je ranking compleet kan breken.
• Robots.txt gebruiken om pagina’s geheim te houden.
  Dat werkt niet, gevoelige informatie hoort niet online en het trekt juist aandacht van kwaadwillenden, omdat het robots.txt openbaar is.
• Geen sitemap opnemen.
  Gemiste kans om je site beter vindbaar te maken.

 

Alternatieven en aanvullingen

• Noindex voor pagina’s die je wel wil laten crawlen, maar niet in de zoekresultaten.
  Wil je dat een pagina wél gecrawld wordt (bijvoorbeeld voor linkdetectie of canonical-verwijzingen), maar níet verschijnt in de zoekresultaten? Gebruik dan een
  noindex-tag in de HTML of via een HTTP-header. Dit is betrouwbaarder dan een
  Disallow, omdat het expliciet indexering voorkomt:
  

  <meta name="robots" content="noindex">

• llms.txt voor AI-bots – al is de praktijk dat ze zich er vaak niet aan houden.
  Dit is een bestand vergelijkbaar met robots.txt, maar specifiek bedoeld om AI-bots te instrueren welke delen van je site ze wel of niet mogen gebruiken.
• Beveiliging en login voor echt gevoelige data.Voor echt vertrouwelijke informatie (zoals klantgegevens, adminpanelen of interne documenten) is robots.txt volstrekt onvoldoende. Gebruik:
  • Authenticatie (wachtwoorden, tokens)
  • IP-whitelisting
  • HTTPS en encryptie
  • Server-side toegangscontrole

 

Conclusie

Robots.txt is in 2025 geen wondermiddel meer, maar wel een nuttig hulpmiddel als je het goed inzet. Houd het simpel, voorkom fouten en gebruik het alleen voor de zaken die er echt toe doen.