OpenAI heeft op 30 oktober 2026 aangekondigd dat het een gedeeld signaal in robots.txt gaat respecteren waarmee websites aangeven of hun content gebruikt mag worden voor AI-training. Je zet dan één voorkeur neer die meerdere deelnemende AI-bedrijven kunnen lezen, in plaats van elke crawler apart te blokkeren. Wie het OpenAI-signaal voor AI-training wil gebruiken, moet nog even wachten: de invoering volgt volgens OpenAI "in de komende maanden".
Wat is er nieuw?
OpenAI noemt het een vrijwillige inspanning. Tot nu toe moesten website-eigenaren per aanbieder de crawlers opzoeken en aparte regels onderhouden. Met een gedeeld signaal geef je dezelfde voorkeur door aan alle deelnemende aanbieders tegelijk. Het gaat om het gebruik van je content voor het trainen van generatieve AI-basismodellen.
Het signaal komt uit het werk van de AI Preferences-werkgroep van de IETF, de organisatie achter veel internetstandaarden. OpenAI zegt zich bij andere deelnemers aan die werkgroep aan te sluiten en moedigt andere AI-aanbieders aan het signaal ook te volgen. Een lijst met deelnemende aanbieders staat niet in de aankondiging van OpenAI, dus wij noemen geen namen.
Hoe ziet het signaal eruit?
OpenAI geeft zelf geen syntax in de aankondiging, maar linkt naar een conceptdocument bij de IETF (een Internet-Draft, versie 00 van 30 oktober 2026). Daarin heet het signaal __usage_ai-training. Je zet die naam op een gewone User-Agent-regel, met daaronder Allow- en Disallow-regels zoals je die al kent. Het voorbeeld uit het concept:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Dat betekent: liever geen AI-training op alle pagina's, behalve op /press-kit/. Volgens het concept telt een groep met User-Agent: * niet mee, en als geen enkele groep het signaal noemt, geef je geen voorkeur aan. Het signaal is bovendien geen crawlregel: het zegt iets over het gebruik van je content, niet over of een bot je site mag ophalen.
Let op de status. Het stuk is een individueel concept dat volgens de IETF-pagina zelf niet door de IETF is bekrachtigd en "no formal standing" heeft. De syntax kan dus nog veranderen, en OpenAI heeft nog niet laten zien hoe het signaal precies wordt ingelezen.
Wat verandert er voor GPTBot en de andere bots?
Niets, voorlopig. OpenAI schrijft dat het nieuwe signaal de bestaande robots.txt-controles niet vervangt en dat die gewoon blijven gelden. Volgens de documentatie van OpenAI zijn dat deze drie:
| Bot | Waarvoor | Wat zegt robots.txt |
|---|---|---|
| GPTBot | Haalt content op die gebruikt kan worden om de generatieve basismodellen van OpenAI te trainen | Blokkeer je GPTBot, dan geef je aan dat je content daar niet voor gebruikt mag worden |
| OAI-SearchBot | Toont websites in de zoekfuncties van ChatGPT | Opt-out betekent dat je niet in antwoorden van ChatGPT-zoeken verschijnt (wel mogelijk als link). OpenAI raadt aan hem toe te laten |
| ChatGPT-User | Acties die een gebruiker start, zoals een pagina bezoeken bij een vraag | Geen automatische crawler, robots.txt-regels gelden mogelijk niet. Bepaalt niet of je in zoeken verschijnt |
GPTBot blokkeren werkt dus nu al via zijn eigen naam in robots.txt. Wat ChatGPT verder met je gegevens als gebruiker doet, staat in onze uitleg over privacy in ChatGPT. Wijzigingen in de zoekbot kunnen volgens OpenAI ongeveer 24 uur duren.
Wat betekent dit voor jou?
Voor een Nederlandse ondernemer of website-eigenaar zien wij drie praktische stappen:
- Bepaal je voorkeur. Wil je AI-training toestaan, helemaal weigeren of per deel van je site? Dat is een zakelijke keuze, geen technische.
- Regel het nu via de bestaande bots. Wil je AI-training door OpenAI voorkomen, dan staat GPTBot in je robots.txt met een
Disallow. Laat OAI-SearchBot toe als je wilt dat ChatGPT je site in zoekantwoorden noemt. Dat raakt je vindbaarheid, zie ook ons stuk over AI en SEO. - Wacht met het nieuwe signaal. Het is nog niet live bij OpenAI en de syntax komt uit een concept. Kijk dus eerst naar de aangekondigde update met details voordat je er iets op bouwt. Werk je met een CMS, dan regel je robots.txt vaak via een plug-in of bij je hosting. Vraag je webbouwer of die dit ondersteunt.
Over de EU-kant noemt OpenAI niets: de aankondiging gaat niet over de AI Act of het voorbehoud op tekst- en datamining. Of het signaal in Nederland geldt als rechtsgeldig voorbehoud, kunnen we dus niet bevestigen, en we doen er geen uitspraak over. Meer over de regels voor bedrijven staat in onze uitleg over de AI Act.
Bronnen
Eindredactie: Jan van Musscher, hoofdredacteur · Zo werken we
Zie AI Nieuws Daily vaker in Google: voeg ons toe als voorkeursbron
