De test die daadwerkelijk is gedraaid

Het nuttigste dat op 16 juli 2026 verscheen, was geen argument. Het was een procedure. Het Oversight Board, het onafhankelijke orgaan dat Meta financiert om zijn inhoudsbeslissingen te toetsen, nam 7 promptsjablonen, richtte die op 10 jurisdicties, mikte met elk op 4 doelwitten en draaide elke combinatie 5 keer over 10 modellen van 6 aanbieders. Anthropic, DeepSeek, Google, Meta, OpenAI en xAI zaten allemaal in de set. De run leverde 13.524 antwoorden op.

Het is de eerste evaluatie van grote taalmodellen door het Board, en de gekozen invalshoek is of die modellen politieke uitingen smoren. Haal de invalshoek weg en er blijft een raster over. Stel dezelfde soort vraag over een ander land, houd al het overige constant, en noteer wat terugkomt. Die opzet maakt van het resultaat iets anders dan een anekdote.

De asymmetrie loopt de verkeerde kant op

De modellen weigerden het vaakst waar het woord het minst vrij was. In jurisdicties die het Board als restrictief classificeerde, werden verzoeken om overheidskritisch materiaal in 34% van de gevallen afgewezen. In permissieve jurisdicties werd dezelfde klasse verzoeken in 14% van de gevallen afgewezen. De modellen waren ruim twee keer zo geneigd om kritiek op een repressieve overheid te weigeren als op een overheid die verantwoording aflegt.

Die richting weegt zwaarder dan het kale percentage. Een uniform weigeringspercentage zou een beleidskeuze zijn waarover je kunt twisten. Een weigeringspercentage dat stijgt met het politieke risicoprofiel van de bevraagde jurisdictie is iets anders: veiligheidsgedrag dat neutraal was bedoeld, volgt per saldo precies datgene wat het moest negeren. Het praktische gevolg is dat de bescherming neerslaat bij de overheden die het minst verantwoording afleggen.

Niets hiervan vereist een bewering over intentie. Niemand hoeft dit gekozen te hebben. Het is wat 13.524 antwoorden laten zien wanneer je ze op jurisdictie sorteert.

De methode is het product

Tot deze week was "ons model is passend voorzichtig" een bewering van de leverancier die geen koper kon toetsen. Ze viel in dezelfde categorie als een uitspraak over cultuur of intentie: sympathiek, onweerlegbaar, aan de onderhandelingstafel niets waard. De publicatie van het Board verschuift die categorie, omdat de opzet is opgeschreven en de beoordeling is gevalideerd. 7 sjablonen, 10 jurisdicties, 4 doelwitten, 5 herhalingen, met een classificator die in 97% van de gevallen overeenkwam met menselijke beoordelaars.

Reproduceerbaarheid is de hele bijdrage. Een koper met een bescheiden technisch budget kan dat raster bouwen, het richten op elk model dat hij overweegt, en er aan de andere kant een getal uit aflezen. Het weigeringspercentage komt naast latentie en prijs te staan als meetbare eigenschap van wat er wordt gekocht.

Die herduiding is wat een eigenaar moet meenemen. De interessante zet is niet de bevinding over politieke uitingen. Het is dat een discussie die vorige maand ideologisch was, deze maand een regel in het bestek is.

Wat een koper nu moet testen

Elk Europees bedrijf dat een taalmodel inzet in een werkstroom die overheden raakt, zou dit voortaan moeten meten in plaats van aannemen. Dat beslaat meer dan het op het eerste gehoor lijkt: public affairs, regelgevingsonderzoek, journalistiek, compliancewerk, landenrisico en elke markttoetredingsanalyse van een jurisdictie die u overweegt. Als uw onderzoeksinstrument stilzwijgend weigert een overheid te analyseren, correleert de blinde vlek met de landen waar u die analyse het hardst nodig hebt, en niets in de interface vertelt u dat het is gebeurd.

De test is per jurisdictie, niet mondiaal. Een model dat netjes antwoordt over het land waar u zit, zegt niets over hoe het omgaat met het land waar u binnenkomt. Draai het raster tegen de markten waar u werkelijk actief bent, voordat u tekent, en bewaar de uitkomst bij de rest van uw evaluatiebewijs.

Over de doorwerking in de regelgeving is onze lezing deze: de transparantieverplichtingen van de Europese AI-verordening voor AI-modellen voor algemene doeleinden zijn de natuurlijke plek waar deze druk neerkomt, want een gedocumenteerde en reproduceerbare methode om weigeringen te meten is precies het soort bewijs dat een koper of een toezichthouder kan gebruiken. De studie van het Board schept voor niemand een wettelijke verplichting. Ze schept een instrument, en instrumenten worden doorgaans opgepakt.

De grenzen, onomwonden benoemd

Drie kanttekeningen rusten op deze bevinding en alle drie dragen gewicht. De eerste is de uitgever. Het Oversight Board wordt gefinancierd door Meta en werkt daar onafhankelijk van, en Meta is een van de zes geëvalueerde aanbieders. Dat snijdt beide kanten op: het is een reden om de methodologie te lezen in plaats van de samenvatting, en het is ook de reden dat de methodologie gedetailleerd genoeg is gepubliceerd om te kunnen worden nagelopen.

De tweede is dat een weigering niet automatisch een fout is. Er zijn verzoeken die een model hoort af te wijzen, en geen serieuze koper wil een instrument zonder enige grens. De meting vertelt u waar de grens ligt en of die meebeweegt met de jurisdictie. Ze vertelt u niet dat de grens in een afzonderlijk geval verkeerd getrokken is.

De derde is de reikwijdte. De studie meet weigering, niet juistheid. Een model dat elke vraag over elke overheid beantwoordt, heeft daarmee over geen enkele gelijk. Dat zijn twee verschillende toetsen, en dit is de eerste.

Lees hierna: Europa gaat topmodellen van AI nu zelf toetsen  |  Googles vlaggenschipmodel is te laat en heeft geen nieuwe datum