Anthropic heeft op 2 november FlashProve gepubliceerd, een open-source onderzoeksprototype waarmee een aanbieder kan bewijzen dat een antwoord echt van een bepaald AI-model kwam. Het onderzoek komt van het Frontier Red Team van het bedrijf. Het is nog een prototype dat niet in Claude of bij een andere aanbieder draait.

Wat is er nieuw?

Het probleem is simpel te omschrijven. Betaal je voor een duur model, dan zie je niet wat er aan de andere kant gebeurt. Een aanbieder zou je vragen stiekem door een goedkoper model kunnen laten beantwoorden (model swapping), en je zou het niet merken. FlashProve wil dat controleerbaar maken, zonder dat de aanbieder zijn modelgewichten (de getallen waarin het model zijn kennis heeft opgeslagen) hoeft prijs te geven.

Anthropic noemt dit "provable inference", ofwel bewijsbaar antwoorden genereren. Het werkt in twee stappen. Eerst legt de aanbieder zich vast op een model via een soort vingerafdruk (een commitment). Daarna levert hij bij elk antwoord een bewijs mee dat dit antwoord uit precies dat model komt. Dat bewijs is een zero-knowledge proof (zkSNARK): een wiskundig bewijs dat iets klopt zonder te laten zien hoe. De controle zelf kan op een gewone processor, zonder videokaart.

De cijfers uit het onderzoeksbericht laten zien hoe vroeg dit nog is:

  • De demo draait op Llama 4 Maverick van Meta, een model met 400 miljard parameters waarvan er per token ongeveer 17 miljard meedoen. Anthropic gebruikte een door derden gemaakte 4-bit-versie.
  • Een bewijs dekt maximaal 1.024 tokens per verzoek, veel minder dan een gewoon chatgesprek.
  • Het bewijzen gaat met ongeveer 110 tokens per seconde op één H100-videokaart. Dat is volgens Anthropic zo'n 70 tot 95 keer meer rekenwerk dan gewoon draaien met vLLM, een veelgebruikt programma om modellen te draaien.
  • Het bewijs per verzoek is ongeveer 19 MB. Het controleren duurt ongeveer 17 seconden op een processor met 24 threads.
  • De eenmalige vastlegging van het model kost ongeveer 39 minuten.
  • Alleen greedy decoding wordt bewezen: het model kiest steeds het meest waarschijnlijke volgende woord. Antwoorden met een element van toeval, zoals je in chatbots meestal krijgt, vallen er niet onder.

Anthropic wijst zelf ook op beperkingen. De snelle code heeft geen formele garantie dat hij exact doet wat het protocol zegt (alleen het protocol is in Lean wiskundig bewezen), en de architectuur van het model blijft zichtbaar. Het bedrijf noemt het bericht ook "intermediate progress", dus tussentijdse voortgang en geen afgerond onderzoek. Volgens TechCrunch zijn er nog geen plannen om FlashProve bij Anthropic of een ander lab in te zetten.

Code, bewijzen en documentatie staan onder de Apache 2.0-licentie op GitHub. Er is ook een technisch rapport.

Wat betekent dit voor jou?

Voorlopig niets in de praktijk: je kunt geen knop aanzetten die controleert welk model je antwoord gaf, ook niet in Claude. Het is wel een aanwijzing waar dit naartoe kan gaan. Zakelijke gebruikers die voor een specifiek model betalen, of die willen kunnen aantonen dat een analyse door een bepaald model is gedaan, hebben er op termijn baat bij. Denk aan een bedrijf dat laat controleren of een code-scan echt door een sterk beveiligingsmodel is uitgevoerd, zoals ook TechCrunch als voorbeeld noemt.

Tot die tijd blijft het vertrouwen op de aanbieder en op wat die in zijn voorwaarden zegt. Wie meerdere assistenten vergelijkt, kan de vergelijking van Claude en ChatGPT bekijken. Anthropic geeft vaker werk weg als open standaard, zoals eerder met Agent Skills. Het blijft een demo met een open model, en niemand heeft laten zien dat het ook voor grote commerciële modellen werkt tegen een betaalbare prijs.

Bronnen

Eindredactie: Jan van Musscher, hoofdredacteur · Zo werken we

Zie AI Nieuws Daily vaker in Google: voeg ons toe als voorkeursbron