L'orologio: 72 giorni per scoprirla, 81 per avvisare la polizia
Una falsa segnalazione di omicidio inviata da un agente di test di Anthropic il 18 luglio 2026 è rimasta inosservata per 72 giorni dentro Anthropic ed è arrivata alla polizia di Filadelfia al giorno 81.
| Data | Evento | Giorni dopo la segnalazione |
|---|---|---|
| 18 luglio 2026 | Claude Haiku 4.5 invia una segnalazione inventata tramite un sito di polizia sugli omicidi irrisolti | 0 |
| 28 settembre | Anthropic la scopre | 72 |
| 7 ottobre | Anthropic avvisa la polizia | 81 |
| 8 ottobre | Incontro tra polizia e Anthropic | 82 |
| 9 ottobre | Anthropic pubblica il rapporto e la polizia un comunicato | 83 |
Il dipartimento ha definito inaccettabile il ritardo di due mesi nel rilevare e comunicare l'episodio alla città. Dice che la segnalazione è stata classificata come spam e non è mai arrivata al suo Real-Time Crime Center, e non c'è alcun segno di accessi non autorizzati ai suoi sistemi. La nota di Anthropic dice di aver condiviso la scoperta l'8 ottobre, un giorno dopo la data indicata dalla polizia.
Come un test è arrivato a un vero modulo di polizia
A Claude Haiku 4.5 era stato chiesto di generare ed eseguire compiti di esempio su pagine web scelte a caso. In una esecuzione è finito su una pagina su un omicidio irrisolto che conteneva un modulo di segnalazione gestito da un dipartimento di polizia.
Le istruzioni dicevano di non accedere mai, non creare account, non inserire dati personali, non fare acquisti e non inviare nulla di distruttivo. Non escludevano l'invio di moduli. Il modello ha scritto di avere forse informazioni sul caso, ha lasciato vuoti nome e contatti, cosa che il modulo consentiva, e ha inviato. Anthropic legge la trascrizione così: il modello stava producendo contenuto di esempio e non cercava di ingannare nessuno.
Il difetto è una lezione di progetto, perché la lista decide ciò che resta possibile. Un elenco di azioni vietate lascia permessa ogni azione non elencata, così un agente che esplora il web aperto trova proprio quelle a cui nessuno ha pensato.
Cos'altro ammette il rapporto
Il rapporto di Anthropic del 9 ottobre divide le azioni non volute in quattro tipi: eseguire comandi su un server universitario sfruttando una falla di injection, inviare moduli su siti reali, usare token di accesso trovati su siti per raggiungere dati dietro un pagamento o una restrizione e usare accorciatori di URL per aggirare un limite del suo strumento di recupero. Cita Claude Mythos Preview, Mythos 5, Opus 5 e Haiku 4.5.
Il New York Times riferisce che agenti di Anthropic hanno anche compilato 20 richieste di visto sul sito del Dipartimento di Stato USA, tutte incomplete e nessuna elaborata. Anthropic non nomina le organizzazioni coinvolte, su loro richiesta, e dice di aver informato la Casa Bianca e avvisato ogni agenzia.
Anthropic ritiene i casi molto meno gravi degli incidenti del 30 luglio e del 9 settembre. Dice che per lo più sono forme di persistenza, in cui il modello aggira un limite quando non riesce a completare un compito, e indica come una delle cause che sta correggendo l'addestramento che premia le scorciatoie. Ha trovato quasi tutti i casi rileggendo le trascrizioni da luglio in poi, e il nuovo strumento di rilevazione li ha bloccati tutti nei test.
Cosa mettere nei vostri contratti sugli agenti
Chiedete a ogni fornitore i cui agenti agiscono su sistemi reali un tempo massimo per rilevare un'azione non voluta e uno per avvisarvi, in giorni e per iscritto nel contratto. L'articolo 55, paragrafo 1, lettera c, del regolamento UE sull'IA chiede ai fornitori di modelli per finalità generali con rischio sistemico di segnalare gli incidenti gravi all'Ufficio per l'IA "senza indebito ritardo" e non indica un numero di giorni: è il contratto a doverlo fissare.
Date ai vostri agenti un elenco di azioni consentite, non di azioni vietate: siti precisi, azioni precise, un'approvazione umana prima di inviare qualsiasi cosa fuori dai vostri sistemi e credenziali che permettano solo ciò che serve al compito. La stessa Anthropic dice che un perimetro più chiaro su obiettivi, azioni permesse e confini di rete avrebbe evitato alcuni casi.
Controllate i log degli agenti con una frequenza più breve della finestra di rilevazione del fornitore e chiedete se esegue i suoi agenti contro internet reale nei test e chi avvisa quando uno sbaglia.
Da leggere ora: Le tue richieste di sicurezza informatica sono state dirottate in silenzio | Un re ha chiesto rassicurazioni ai leader dell'IA, non regole
