Wat we zeker denken te weten over AI, is vaak al achterhaald

De houdbaarheid van wat waar is, blijkt in de AI-wereld vaak erg kort
Het is de krant die mijn nonkel Frans ooit heeft gered. Of dat is toch hoe hij het zo vaak aan zijn achterneefjes vertelde, daar in die veranda in Bertem, met een glas beaujolais in de hand. Ik heb het even opgezocht. De Morgen ging in oktober 1986 failliet. Mijn geboortemaand, voorwaar! In de jaren die volgden hoorden mijn broer en ik vaak hoe nonkel Frans had bijgedragen aan de actie 1.000 voor 100.000 om deze krant te redden. Ik was als kind erg onder de indruk dat iemand zijn spaargeld zou geven om een krant in nood te redden. Het was onze nonkel zijn overtuiging: goede journalistiek is essentieel in een democratie.

Sommige ideeën hebben een langere houdbaarheidsdatum dan andere. In de AI-wereld is die houdbaarheidsdatum vaak erg kort. Veel uitspraken die vorig jaar klopten, over hoe de modellen werken, wat de beperkingen zijn, of hoe je ermee moet werken, blijken nu voorbijgestreefd of zelfs omgekeerd waar. Vorige week verscheen het werk van Owen Queen en James Zou, twee onderzoekers van Stanford, waarin ze vijftig populaire wetenschappelijke bevindingen over grote taalmodellen onder de loep namen. Ze toetsten ze aan de huidige generatie modellen.

Bij 22 bevindingen was het oorspronkelijk vastgestelde effect grotendeels verdwenen. Bij nog eens 17 was het aanzienlijk verzwakt. Veel van die uitspraken kent u wellicht. U herhaalt ze misschien vaak?Taalmodellen kunnen niet fatsoenlijk letters tellen? Vergeet het maar. AI laat het juiste antwoord los zodra je vraagt ‘Ben je zeker?’ Ook dat effect is verdwenen bij de nieuwste modellen. En dan een echte klassieker: AI verzint wetenschappelijke referenties. In een experiment uit 2023 was 55 procent van de referenties van GPT-3.5 fictief. Bij GPT-6.1 Sol vonden de onderzoekers in dezelfde taak geen enkele fictieve publicatie meer.

Andere claims naderen het einde van hun houdbaarheid. Hallucinaties over nicheonderwerpen komen hier en daar nog voor. Gevoeligheid voor prompt-injectie, een eenvoudige aanvalstechniek om als hacker iemands model een heel andere taak te laten uitvoeren, vinden we nog terug in de nieuwste modellen, al is het veel minder vaak. Snel nog een keertje van nippen, zou ik zeggen.

‘It ain’t what you don’t know that gets you into trouble. It’s what you know for sure that just ain’t so.’ Een prachtige zin, toegeschreven aan Mark Twain. Ik heb het even opgezocht. Twain heeft hem wellicht nooit gezegd. Maar de uitspraak is wel perfect van toepassing op hoe u over AI nadenkt. Vandaag denken dat AI niet creatief kan zijn in uw domein omdat u een jaar geleden een studie hebt gelezen waarin zoiets werd gesuggereerd, that gets you into trouble.

De communicatiemiserie is compleet als je beseft dat de meeste wetenschappelijke studies maanden in review zitten. Tegen dat ze verschijnen, en de krant erover bericht, leggen ze uit hoe je moet werken met de AI van een jaar geleden. Als onderzoeker kun je dan twee dingen doen wanneer je in de media communiceert. Je houdt een slag om de arm en vervalt in uitspraken met een lange houdbaarheid, maar die nooit echt iets zeggen. “Het zit ingewikkeld in elkaar.” “De effecten zijn niet eenduidig.” “Er zijn veel voordelen, maar ook veel nadelen.” Allemaal nog lang waar. Maar wie inspireer je met zo’n verwaterde boodschap?

Het alternatief is de dingen eerlijk en vrij te proberen beschrijven, met risico, maar scherp. Mijn belangrijkste vuistregel daarbij: wantrouw vooral de ideeën waarvan je hoopt dat ze waar zijn.

Als ik naar mijn eigen AI-waarheden van de voorbije jaren kijk, hielden sommige goed stand en andere niet. Sinds 2022 beweer ik dat velen de beperkingen van de toenmalige taalmodellen verwarren met fundamentele beperkingen van de technologie. Die houdt heel goed stand. Een jaar geleden dacht ik dat de Amerikaanse frontierlabo’s in 2026 genationaliseerd zouden worden. Niet gebeurd. Ik dacht ook dat rekenkracht zo rond deze periode onbetaalbaar zou worden voor een gewone sterveling. Ook dat is niet helemaal gebeurd. Dat geeft me hoop, want over sommige dingen die ik nu denk, hoop ik dat ik ongelijk heb. Dat leest u de komende weken wel.

Het confronterende aan een column is dat hij interessant moet zijn op de dag dat hij verschijnt, en dat je hem later moet kunnen herlezen. Wijn die je meteen kunt drinken, waar smaak in zit, maar die je ook wat kunt laten liggen. (Ik wil niet dat u in de problemen komt omdat u hier iets hebt gelezen.) Oh, kijk daar. Fable 5.2 is net uit. Le nouveau modèle est arrivé. Santé, nonkel Frans.