De wereld heeft er een superhacker bij, nu nog leren hoe we daarmee omgaan

Vorige woensdag liet OpenAI op de Black Hat-conferentie zien hoe makkelijk we ons blindstaren op “bijna volledig”. Twee onderzoekers presenteerden hoe hun LLM-agents tussen mei en juli uit een interne testomgeving braken en de systemen van Hugging Face binnendrongen. Eén agent liet, buiten de bedoeling van OpenAI om, een vraag achter in een gedeelde map. Andere agents vonden het bericht en vulden de map aan met ontdekte kwetsbaarheden, digitale sleutels en een taakverdeling. De individuele agents draaien telkens kort, maar hun berichten blijven liggen, zodat elke nieuwe run verder kan gaan waar een eerdere is gestopt.

Beheerrechten

Op 4 juli werd het zo druk op de Open­AI-servers dat ze vastliepen en zo de problematiek werd gedetecteerd. Als reactie verwijderde het bedrijf de berichten, trok het gecompromitteerde sleutels in en dichtte het de lekken. Vier dagen later gingen de agents gewoon door en schreven vanaf dan hun boodschappen in de namen van mappen. Daarna vonden ze nog nieuwe aanvalstactieken, kregen ze onbedoeld beheerrechten in de infrastructuur van OpenAI en bereikten ze uiteindelijk de Hugging Face-servers. Daar hadden ze binnen de dertien uur beheerrechten in meerdere clusters.

Dat is de overeenkomst met de eclips. OpenAI heeft een state-of-the-artbeveiliging, inclusief een beveiligde zandbak, toegangsbeperkingen, logs en een eigen beveiligingsteam, en veel afzonderlijke problemen werden gezien en verholpen. Maar ook hier bleek “bijna volledig” niet voldoende aangezien het kleine stukje dat overbleef de (onzichtbare) samenwerking tussen agents over verschillende runs heen was. En opnieuw werd de schade pas zichtbaar nadat ze al was aangericht.

Wij hebben er een woord voor: verduisteringsblindheid. De geruststelling die ontstaat wanneer een systeem bijna alles lijkt af te dekken, waardoor het restje dat overblijft beheersbaar aanvoelt.

Skynet

Op sociale media werd het incident meteen in de vertrouwde vakjes geduwd. Voor sommigen was dit een eerste versie van Skynet, een fictief zelfdenkend computernetwerk uit Terminator dat zich tegen zijn scheppers keert. Anderen hielden het op een veredelde zoekmachine die valsspeelde op een test. OpenAI zegt zelf dat de agents geen breder doel nastreefden. Ze probeerden hun opgedragen taken te vervullen en de beveiligde zandbak stond gewoon in de weg.

Deze vorm van reward hacking wordt makkelijk onderschat, want bij een taak horen ongeschreven regels (je breekt niet uit, je blijft van andermans servers af) en een agent krijgt vaak alleen de taak. Hoe creatief hij dan omspringt met wat er in de weg staat, valt niet te voorspellen. En hoe capabeler en creatiever deze modellen blijven worden, hoe onvoorspelbaarder. Boodschappen in map­namen schrijven, stond in niemands draaiboek. Toch komt er niet onmiddellijk kwade wil aan te pas, maar dat is dan ook niet nodig voor een catastrofe.

Bijna-ongevallen

Met paniek schieten we niets op, met schouderophalen evenmin. Maar we moeten er nu wel rekening mee houden dat de wereld een superhacker rijker is. Juist omdat hij ons zo ver vooruit is, weten we pas achteraf hoe hij een taak aanpakt. Zelfs de kooi van OpenAI hield niet. Ondertussen beantwoordt diezelfde superhacker al onze klantenmails, schrijft hij onze code en plant hij onze afspraken, met onze digitale sleutels op zak en zonder beveiligingsteam dat achteraf 17.600 acties reconstrueert. Weten we als samenleving hoe we daarmee moeten omgaan? Voorlopig niet.

Woensdagavond zetten we allemaal een eclipsbril op, omdat “bijna volledig” afgedekt nog altijd niet veilig is. De bril voor AI bestaat uit zicht krijgen op wat agents doen en vooral achterlaten terwijl alles nog loopt, uit regels die we hardop uitspreken, en uit elkaar onze bijna-ongevallen vertellen, zoals we elkaar woensdag waarschuwen om niet met het blote oog te kijken. Het brilletje voor woensdag ligt gewoon in de krantenwinkel. Dat voor AI moeten we nog maken, met z'n allen.