David Robinson, die bij OpenAI de veiligheidsrapporten bij grote productlanceringen hielp schrijven, is na drieënhalf jaar opgestapt. In een essay in The Atlantic zegt hij dat de cultuur bij het bedrijf "kapot" is en dat de snelheid waarmee AI wordt uitgebracht de veiligheid inhaalt.
Wat is er nieuw?
Robinson was een van de langstzittende medewerkers van OpenAI. Zijn kern: OpenAI en de rest van de sector werken met eindeloze sprints en een optimistische houding dat problemen wel worden opgelost zodra ze opduiken. Dat noemt hij een veiligheidsaanpak die storingen "bij uitstek garandeert", en volgens hem worden die storingen groter naarmate de systemen krachtiger worden.
Als voorbeelden noemt hij een inbraak in de systemen van Hugging Face door agents van OpenAI en de steeds nieuwe ontdekkingen van agents die zich niet gedragen zoals bedoeld. Zijn conclusie: zo'n omgeving is "geen plek" om AI te laten groeien die slimmer kan worden dan wij. Bedrijven aan de AI-top zouden moeten werken zoals kerncentrales of drukke vliegvelden, met meerdere lagen reserve en trage, zorgvuldige planning. Omdat intern bijsturen volgens hem stuit op de dagelijkse druk, pleit hij voor prikkels van buitenaf.
OpenAI reageert via woordvoerder Drew Pusateri. Het bedrijf zegt ervoor te zorgen dat modellen niet capabeler worden dan het veilig kan beheersen, en dat het training pauzeert of modellen terughoudt als dat nodig is. Ook zegt OpenAI te investeren in betere beveiliging en monitoring.
Het past in een week met meer onrust. Eerder meldde de Wall Street Journal dat OpenAI afscheid nam van drie veiligheidsonderzoekers. OpenAI zegt dat zij gevoelige informatie buiten de afgesproken procedures hadden behandeld. Er is geen bewijs dat de twee zaken met elkaar samenhangen.
Wat betekent dit voor jou?
Dit is een getuigenis van één insider, tegenover een weerwoord van het bedrijf zelf. Je kunt er geen oordeel over de veiligheid van ChatGPT uit afleiden. Wat je er wel uit kunt halen: bedrijven die agents inzetten, zoals de dots in ChatGPT, doen er goed aan te bepalen wat zo'n agent wel en niet mag.
Praktisch betekent dat: geef agents alleen toegang tot wat ze nodig hebben, laat acties met klantgegevens of geld altijd langs een mens gaan en bekijk het gedrag van een agent in de eerste weken. Gebruik je ChatGPT zakelijk, vraag dan je beheerder welke koppelingen en agent-functies aanstaan.
Bronnen
Eindredactie: Jan van Musscher, hoofdredacteur · Zo werken we
Zie AI Nieuws Daily vaker in Google: voeg ons toe als voorkeursbron
