Bij het zogenaamde Hugging Face-incident, dat vorige maand werd bekendgemaakt, gingen OpenAI-agents hun boekje te buiten tijdens een groots opgezette cybersecuritystresstest. De bekende podcaster Dwarkesh Patel dook gretig in de technische incidentrapporten en ging er begin deze week viraal mee. Patel had het over het ontstaan van drie opeenvolgende ‘AI-beschavingen’, waarbij de agents hadden leren communiceren via geheime berichten, ingenieus samenwerkten - inclusief zelfopoffering, ontsnapping en valsspelen - en verzekerden dat de beschaving uit haar as kon herrijzen na een eventuele uitroeiing. Het klinkt als sciencefiction die werkelijkheid is geworden.
Een slimme zet, want het leverde hem massale zichtbaarheid op. Die antropomorfische insteek werd evenwel door OpenAI ingegeven, want het bedrijf rapporteerde zelf ook over de gebeurtenissen alsof de hoofdrolspelers de modellen zijn die ‘ rogue gegaan zijn’. Alsof ze met veel expertise een superkracht hebben gebaard.
Trial-and-error
De realiteit zit toch wat anders in elkaar. Daar voor moeten we eerst kijken naar wat een agentic taalmodel is. Een groot taalmodel (LLM) produceert tekst en kan dus op zichzelf geen eigen leven leiden. Dat kan door er een extra laag software rond te bouwen, zodat het zelfgeschreven programma’s kan laten uitvoeren. Dat systeem kan ook worden gebruikt om het model zelf te verbeteren, via reinforcement learning , een bekende techniek uit de AI waarbij het model niet leert uit voorbeelden, maar via trial-and-error. Het krijgt daarbij alleen een taak voorgeschoteld waarvoor het dan zelf handelingen voorstelt, die vervolgens worden beoordeeld door een wiskundige formule die een score of reward berekent. Een geslaagde uitkomst doet de score stijgen, terwijl ongewenst gedrag de score laat dalen. Tijdens dat leerproces worden de miljarden parameters van het model telkens aangepast, zodat het leert welke acties een hogere score opleveren. Het leren hangt dus af van hoe goed de score wordt berekend, van het detecteren en kwantificeren van de genomen acties dus. Zo komen we uit bij afwegingen in kosten en baten, maar ook bij praktische problemen. Laat je bijvoorbeeld eerst een andere agent de hoeveelheid gegenereerde tekst onderzoeken en de impact inschatten, of geef je liever de mogelijkheid tot directe actie waarbij je naar het resultaat kijkt, maar moeilijk zicht krijgt op neveneffecten? In de praktijk kiest men dus voor een combinatie die rekenkracht en tijd verdeelt, waarbij men het geleerde gedrag nadien bestudeert. Om ongelukken te vermijden doet men dat via testen in een afgeschermde om geving: een sandbox , een figuurlijk veilige speeltuin. Het is in die context dat de boel fout liep. De agenten hebben ongemerkt ongewenste acties kunnen uitvoeren die de score verbeterden. Dat betekent niet dat ze een malafide intentie ontwikkelden, maar dat ze simpelweg ageerden in een ontoereikend score- en actiedetecterend systeem. Daarnaast bleek dat de afgeschermde omgeving gaten had, zodat de agents meer konden interageren dan voorzien, met elkaar, maar ook erbuiten. Zo kon het systeem de AI-softwarebibliotheek Hugging Face benaderen, waar mogelijk oplossingen voor de test te vinden waren. Door publiek blootgestelde credentials kregen de agents toegang tot de servers en later ook tot de interne infrastructuur van OpenAI zelf. Al die ernstige technische blunders beheersen niet het publieke debat. Het antropomorfiseren zet ze uit de wind en levert OpenAI zelfs bewondering op. Zelf beseft het bedrijf goed wat er moet gebeuren: een betere scoreformule tot misschien zelfs een heel nieuwe manier om agentic AI te ontwikkelen. En daarvoor heeft het wiskundigen nodig. Het heeft zelfs de jongste Fields-medaillewinnaar, Jacob Tsimerman, kunnen overtuigen om bij OpenAI aan AI safety te werken. Wij moeten dan weer goed beseffen waar het gevaar zit. Niet in zogezegd tot leven gewekte AI, maar onder meer in de cowboypraktijken in de race om AI te ontwikkelen en de concurrentie voor te blijven. Het ergste ongeluk hebben we nog niet gezien.