Een zaterdagessay van het hoofd van een AI-leverancier
Op zaterdag 10 oktober publiceerde Satya Nadella op zijn persoonlijke blog een essay met de titel 'Models as Insider Risks in the Super Intelligence Era'. TechCrunch meldde het als een bericht op X en beschreef het als een oproep om een stap terug te doen en de vertrouwensarchitectuur van AI te beoordelen. Volgens TechCrunch volgde het op berichten dat AI-bedrijven de controle over hun modellen lijken te verliezen en op een plan van Anthropic-ceo Dario Amodei voor voorzichtiger ontwikkeling.
De auteur leidt een grote AI-leverancier en schrijft dat verantwoordelijkheid niet kan worden uitbesteed aan modelleveranciers. Zijn kernzin is dat men de levering van intelligentie moet scheiden van de zeggenschap erover. Hij stelt voor niet-deterministische modellen te omringen met deterministisch systeemontwerp, menselijke controles en betrouwbare werkprocedures en toonaangevende modellen, gesloten of met open gewichten, als insiderrisico's te behandelen. De vergelijking gaat niet uit van kwade wil: elke capabele actor met toegang tot belangrijke systemen kan fouten maken of gecompromitteerd raken.
Zeven principes, zeven vragen aan een leverancier
Het essay noemt zeven principes. Elk ervan laat zich vertalen naar een vraag aan een agentleverancier en een regel voor in het contract.
| Principe | Vraag aan de leverancier | Wat u moet vragen |
|---|---|---|
| Modeldiversiteit | Kan één model het werk doen en ook controleren? | Geen enkel model als enige afhankelijkheid of als eigen controleur |
| Alles observeren | Laat elke belangrijke actie leesbaar, onaantastbaar bewijs achter? | Actielogs die een mens kan lezen en de klant kan exporteren |
| Verifieerbaarheid | Wordt het hele systeem getest op storingen, aanvallen en randgevallen? | Testresultaten voorbij geslaagde taken |
| Onafhankelijke controles | Wie bepaalt waartoe het model toegang heeft en wat het mag doen? | Door de klant ingestelde rechten, geen standaardwaarden van de leverancier |
| Onafhankelijke controleerbaarheid | Is de validatie onafhankelijk van de intelligentie die wordt gevalideerd? | Bewijs dat niet leunt op het rapport van het model zelf |
| Insluiting | Kan een bevoegd persoon het model midden in een taak pauzeren of stoppen? | Een gedocumenteerde stopfunctie en wie die mag gebruiken |
| Melding van incidenten | Vertelt u getroffen klanten wat misging en welke controles faalden? | Een meldplicht met termijn |
De principes insluiting en observatie dragen de scherpste formuleringen van het essay: een model vanaf het begin als gecompromitteerd beschouwen en insluiten, als een noodrem, en elke belangrijke actie leesbaar, onaantastbaar bewijs laten achterlaten.
Waar de checklist terugwijst naar Microsoft
Dezelfde leverancier bouwt agentproducten. Volgens heise krijgt Windows 11 een agentische desktop, en Microsoft presenteerde half september een conceptgedragscode voor zijn MAI-modellen, volgens welke ze zich nooit mogen verzetten tegen onderbreking of uitschakeling. De lijst van Nadella is dus een toets die ook Microsofts eigen producten moeten doorstaan, en de antwoorden laten zien hoe ver de praktijk het essay heeft gevolgd.
Microsoft is bovendien niet de enige leverancier op de markt, en niets in het essay is op het bedrijf toegesneden. De zeven vragen werken bij elk agentproduct hetzelfde, en daarom loont het ze nu op te schrijven, vóór de volgende inkoopronde.
Welke vragen u vandaag kunt beantwoorden
Sorteer de zeven vragen in twee kolommen: die u voor uw huidige agents uit de documentatie kunt beantwoorden en die u niet kunt beantwoorden. De tweede kolom is uw lijst voor de leverancier. Bepaal vóór het gesprek welk ontbrekend antwoord de aankoop zou stoppen. Insluiting en observatie zijn in een demo het gemakkelijkst te toetsen, want u kunt om een stop midden in een taak en een voorbeeldlog vragen.
Het essay noemt de EU-AI-verordening niet, dus of een inzet onder de verplichtingen voor menselijk toezicht valt, is een vraag voor uw juridisch adviseur en wordt niet door deze checklist beslist. Wat de lijst geeft is een gedeeld vocabulaire voor het gesprek, geschreven door het hoofd van een AI-leverancier.
Lees hierna: Copilot krijgt een nieuwe naam. De rekening krijgt een nieuwe vorm. | De patch die een gat dichtte en een ander opende
