Et lørdagsessay fra lederen af en AI-leverandør
Lørdag den 10. oktober offentliggjorde Satya Nadella på sin personlige blog et essay med titlen 'Models as Insider Risks in the Super Intelligence Era'. TechCrunch omtalte det som et opslag på X og beskrev det som en opfordring til at træde et skridt tilbage og vurdere AI's tillidsarkitektur. Ifølge TechCrunch kom det efter rapporter om, at AI-virksomheder ser ud til at miste kontrollen over deres modeller, og efter en plan fra Anthropics direktør Dario Amodei for mere forsigtig udvikling.
Forfatteren leder en stor AI-leverandør og skriver, at ansvar ikke kan outsources til modeludbyderne. Hans kernesætning er, at man skal adskille leveringen af intelligens fra magten over den. Han foreslår at omgive ikke-deterministiske modeller med deterministisk systemdesign, menneskelige kontroller og pålidelige driftsprocedurer og at behandle førende modeller, lukkede eller med åbne vægte, som insiderrisici. Sammenligningen forudsætter ikke ond vilje: enhver kapabel aktør med adgang til vigtige systemer kan begå fejl eller blive kompromitteret.
Syv principper, syv spørgsmål til en leverandør
Essayet nævner syv principper. Hvert af dem kan oversættes til et spørgsmål til en agentleverandør og en linje til kontrakten.
| Princip | Spørgsmål til leverandøren | Hvad I skal bede om |
|---|---|---|
| Modeldiversitet | Kan én model både udføre arbejdet og kontrollere det? | Ingen enkelt model som eneste afhængighed eller som sin egen kontrollant |
| Observér alt | Efterlader hver væsentlig handling læsbare, manipulationssikre spor? | Handlingslogfiler, som et menneske kan læse, og som kunden kan eksportere |
| Verificerbarhed | Testes hele systemet mod fejl, angreb og grænsetilfælde? | Testresultater ud over lykkede opgaver |
| Uafhængige kontroller | Hvem bestemmer, hvad modellen må få adgang til og gøre? | Rettigheder fastsat af kunden, ikke leverandørens standardindstillinger |
| Uafhængig revisionsmulighed | Er valideringen uafhængig af den intelligens, der valideres? | Beviser, der ikke hviler på modellens egen rapport |
| Inddæmning | Kan en bemyndiget person sætte modellen på pause eller stoppe den midt i en opgave? | En dokumenteret stopfunktion og hvem, der må bruge den |
| Oplysning om hændelser | Fortæller I berørte kunder, hvad der gik galt, og hvilke kontroller der svigtede? | En underretningspligt med frist |
Principperne om inddæmning og observation bærer essayets skarpeste formuleringer: at antage, at en model er kompromitteret, og inddæmme den fra begyndelsen som med en nødbremse, og at lade hver væsentlig handling efterlade læsbare, manipulationssikre spor.
Hvor tjeklisten peger tilbage på Microsoft
Den samme leverandør bygger agentprodukter. Ifølge heise skal Windows 11 have et agentisk skrivebord, og Microsoft fremlagde midt i september et udkast til en adfærdskodeks for sine MAI-modeller, hvorefter de aldrig må modsætte sig afbrydelse eller nedlukning. Nadellas liste er derfor en prøve, som også Microsofts egne produkter må bestå, og svarene viser, hvor langt praksis er fulgt med essayet.
Microsoft er desuden ikke den eneste leverandør på markedet, og intet i essayet er rettet specifikt mod firmaet. De syv spørgsmål virker ens med ethvert agentprodukt, og derfor er det værd at skrive dem ned nu, før den næste indkøbsrunde.
Hvilke spørgsmål I kan besvare i dag
Sortér de syv spørgsmål i to kolonner: dem, I kan besvare for jeres nuværende agenter ud fra dokumentationen, og dem, I ikke kan. Den anden kolonne er jeres liste til leverandøren. Beslut før mødet, hvilket manglende svar der ville stoppe købet. Inddæmning og observation er lettest at afprøve i en demo, for I kan bede om et stop midt i en opgave og en eksempellog.
Essayet nævner ikke EU's AI-forordning, så om en anvendelse falder ind under dens krav om menneskeligt tilsyn, er et spørgsmål til jeres juridiske rådgiver og afgøres ikke af denne tjekliste. Det, den giver, er et fælles ordforråd til samtalen, skrevet af lederen af en AI-leverandør.
Læs videre: Copilot får et nyt navn. Regningen får en ny form. | Opdateringen der lukkede et hul og åbnede et andet
