Un saggio del sabato dal capo di un fornitore di IA
Sabato 10 ottobre Satya Nadella ha pubblicato sul suo blog personale un saggio intitolato 'Models as Insider Risks in the Super Intelligence Era'. TechCrunch lo ha riportato come un post su X e lo ha descritto come un invito a fare un passo indietro e a valutare l'architettura della fiducia dell'IA. Secondo TechCrunch arriva dopo notizie su aziende di IA che sembrano perdere il controllo dei propri modelli e dopo un piano del CEO di Anthropic, Dario Amodei, per uno sviluppo più cauto.
L'autore guida un grande fornitore di IA e scrive che la responsabilità non si può esternalizzare ai fornitori di modelli. La sua frase centrale è che bisogna separare la fornitura di intelligenza dall'autorità su di essa. Propone di circondare i modelli non deterministici con un progetto di sistema deterministico, controlli umani e procedure operative affidabili, e di trattare i modelli di frontiera, chiusi o a pesi aperti, come rischi interni. Il paragone non presume cattive intenzioni: qualsiasi attore capace con accesso a sistemi importanti può sbagliare o essere compromesso.
Sette principi, sette domande per un fornitore
Il saggio elenca sette principi. Ognuno si traduce in una domanda per un fornitore di agenti e in una riga da chiedere nel contratto.
| Principio | Domanda al fornitore | Cosa chiedere |
|---|---|---|
| Diversità dei modelli | Lo stesso modello può svolgere il lavoro e verificarlo? | Nessun modello come unica dipendenza né come verificatore di sé stesso |
| Osservare tutto | Ogni azione rilevante lascia prove leggibili e a prova di manomissione? | Registri delle azioni che una persona può leggere e il cliente può esportare |
| Verificabilità | L'intero sistema è testato contro guasti, attacchi e casi limite? | Risultati dei test oltre i compiti riusciti |
| Controlli indipendenti | Chi decide a cosa il modello può accedere e cosa può fare? | Permessi stabiliti dal cliente, non predefiniti del fornitore |
| Verificabilità da terzi | La validazione è indipendente dall'intelligenza che viene validata? | Prove che non dipendano dal rapporto del modello stesso |
| Contenimento | Una persona autorizzata può mettere in pausa o fermare il modello a metà compito? | Un comando di arresto documentato e chi può usarlo |
| Comunicazione degli incidenti | Informerete i clienti colpiti di cosa è andato storto e quali controlli hanno fallito? | Un obbligo di notifica con scadenza |
I principi di contenimento e osservazione portano le frasi più nette del saggio: presumere che un modello sia compromesso e contenerlo fin dall'inizio, come un freno d'emergenza, e far lasciare a ogni azione rilevante prove leggibili a prova di manomissione.
Dove la lista torna a puntare su Microsoft
Lo stesso fornitore sta costruendo prodotti di agenti. Secondo heise, Windows 11 avrà un desktop agentico, e a metà settembre Microsoft ha presentato una bozza di codice di condotta per i suoi modelli MAI secondo cui non devono mai opporsi a un'interruzione o a uno spegnimento. La lista di Nadella è quindi una prova che devono superare anche i prodotti di Microsoft, e le risposte mostreranno quanto la pratica abbia seguito il saggio.
Microsoft inoltre non è l'unico fornitore sul mercato, e nulla nel saggio è specifico per lei. Le sette domande funzionano allo stesso modo con qualsiasi prodotto di agenti, ed è per questo che conviene metterle per iscritto adesso, prima del prossimo giro di acquisti.
A quali domande potete rispondere oggi
Ordinate le sette domande in due colonne: quelle a cui potete rispondere sui vostri agenti attuali dalla documentazione e quelle a cui non potete. La seconda colonna è la vostra lista per il fornitore. Decidete prima dell'incontro quale risposta mancante fermerebbe l'acquisto. Contenimento e osservazione sono le più facili da verificare in una demo, perché potete chiedere un arresto a metà compito e un registro di esempio.
Il saggio non menziona l'AI Act dell'UE, quindi stabilire se un impiego rientri nei suoi obblighi di sorveglianza umana è una questione per i vostri consulenti legali e non la risolve questa lista. Vi offre un vocabolario comune per la conversazione, scritto dal capo di un fornitore di IA.
Da leggere ora: Copilot cambia nome. La fattura cambia forma. | La patch che ha chiuso un buco e ne ha aperto un altro
