En lördagsessä från chefen för en AI-leverantör
Lördagen den 10 oktober publicerade Satya Nadella på sin personliga blogg en essä med titeln 'Models as Insider Risks in the Super Intelligence Era'. TechCrunch återgav den som ett inlägg på X och beskrev den som en uppmaning att kliva ett steg tillbaka och bedöma AI:s förtroendearkitektur. Enligt TechCrunch kom den efter rapporter om att AI-företag verkar tappa kontrollen över sina modeller och efter en plan från Anthropics vd Dario Amodei för mer försiktig utveckling.
Författaren leder en stor AI-leverantör och skriver att ansvar inte kan läggas ut på modellleverantörerna. Hans kärnmening är att man måste skilja leveransen av intelligens från makten över den. Han föreslår att omge icke-deterministiska modeller med deterministisk systemdesign, mänskliga kontroller och pålitliga driftrutiner och att behandla ledande modeller, slutna eller med öppna vikter, som insiderrisker. Jämförelsen förutsätter inte ond vilja: varje kapabel aktör med tillgång till viktiga system kan göra misstag eller bli komprometterad.
Sju principer, sju frågor till en leverantör
Essän räknar upp sju principer. Var och en kan översättas till en fråga till en agentleverantör och en rad att begära i avtalet.
| Princip | Fråga till leverantören | Vad ni ska begära |
|---|---|---|
| Modellmångfald | Kan en modell både utföra arbetet och kontrollera det? | Ingen enskild modell som enda beroende eller som sin egen kontrollant |
| Observera allt | Lämnar varje väsentlig handling läsbara, manipuleringssäkra spår? | Åtgärdsloggar som en människa kan läsa och kunden kan exportera |
| Verifierbarhet | Testas hela systemet mot fel, attacker och gränsfall? | Testresultat utöver lyckade uppgifter |
| Oberoende kontroller | Vem bestämmer vad modellen får komma åt och göra? | Behörigheter som kunden anger, inte leverantörens standardvärden |
| Oberoende granskningsbarhet | Är valideringen oberoende av den intelligens som valideras? | Bevis som inte vilar på modellens egen rapport |
| Inneslutning | Kan en behörig person pausa eller stoppa modellen mitt i en uppgift? | En dokumenterad stoppfunktion och vem som får använda den |
| Redovisning av incidenter | Berättar ni för drabbade kunder vad som gick fel och vilka kontroller som svek? | En underrättelseskyldighet med tidsfrist |
Principerna om inneslutning och observation bär essäns skarpaste formuleringar: att utgå från att en modell är komprometterad och innesluta den från början, som en nödbroms, och att låta varje väsentlig handling lämna läsbara, manipuleringssäkra spår.
Där checklistan pekar tillbaka på Microsoft
Samma leverantör bygger agentprodukter. Enligt heise ska Windows 11 få ett agentiskt skrivbord, och Microsoft presenterade i mitten av september ett utkast till uppförandekod för sina MAI-modeller, enligt vilket de aldrig får motsätta sig avbrott eller avstängning. Nadellas lista är därför ett prov som även Microsofts egna produkter måste klara, och svaren visar hur långt praktiken har följt essän.
Microsoft är dessutom inte den enda leverantören på marknaden, och inget i essän är specifikt för företaget. De sju frågorna fungerar likadant med vilken agentprodukt som helst, och därför lönar det sig att skriva ner dem nu, före nästa inköpsrunda.
Vilka frågor ni kan besvara i dag
Sortera de sju frågorna i två kolumner: de ni kan besvara för era nuvarande agenter utifrån dokumentationen och de ni inte kan besvara. Den andra kolumnen är er lista till leverantören. Bestäm före mötet vilket saknat svar som skulle stoppa köpet. Inneslutning och observation är lättast att pröva i en demo, eftersom ni kan be om ett stopp mitt i en uppgift och en exempellogg.
Essän nämner inte EU:s AI-förordning, så om en användning omfattas av dess krav på mänsklig tillsyn är en fråga för era juridiska rådgivare och avgörs inte av den här checklistan. Det den ger är ett gemensamt ordförråd för samtalet, skrivet av chefen för en AI-leverantör.
Läs vidare: Copilot får ett nytt namn. Räkningen får en ny form. | Patchen som tätade ett hål och öppnade ett annat
