Cosa ha davvero trovato Claude

Anthropic ha lanciato quasi mille copie del suo modello Claude su un database pubblico di sequenze di DNA, e dopo 21 ore di ricerca ha individuato un pattern genetico ripetuto accanto a un enzima poco studiato. L'azienda chiama la combinazione ART, sigla di array-associated reverse transcriptase.

Il compito ha impiegato circa 950 agenti su 210 milioni di token, riducendo oltre 200.000 enzimi reverse trascrittasi conosciuti a 20 candidati solidi. Il pattern compare nei batteriofagi, i virus che infettano i batteri, e la sua serie di ripetizioni di DNA distanziate in modo regolare somiglia strutturalmente alle ripetizioni dietro l'editing genetico CRISPR. Test preliminari suggeriscono che l'array produca brevi frammenti di RNA, motivo per cui Anthropic lo definisce programmabile.

La distanza tra il comunicato e l'articolo scientifico

Il resoconto della stessa Anthropic è più cauto del suo titolo. L'azienda scrive apertamente di non conoscere ancora la funzione di ART, e l'amministratore delegato Dario Amodei ha detto ai giornalisti che la sua funzione precisa, la sua utilità biotecnologica se esiste, e il suo livello di importanza non sono ancora chiari.

Il risultato si basa su un preprint, non su un articolo sottoposto a revisione paritaria, e l'unico laboratorio che lo ha valutato finora appartiene all'azienda che ha costruito il modello che fa l'affermazione. Nessun team esterno ha replicato il risultato o dimostrato che ART faccia qualcosa in una cellula viva.

Cosa hanno detto davvero gli scienziati esterni

Due ricercatori nominati esplicitamente, estranei ad Anthropic, hanno contestato direttamente l'impostazione.

ChiCosa ha detto
Anthropic (Dario Amodei, CEO)La funzione precisa di ART, la sua utilità biotecnologica se esiste, e il suo livello di importanza non sono ancora chiari.
Kevin Blake, microbiologo, Washington UniversityNon c'è nulla che indichi che questo sia un rivale della tecnologia CRISPR, né che possa diventare un'applicazione terapeutica o pratica.
Dimitri Perrin, informatico, Queensland University of TechnologyL'enzima in sé era già conosciuto. ART è simile a CRISPR nell'architettura, ma non c'è ancora prova che lo sia anche nella funzione.

Entrambi i ricercatori indicano lo stesso rischio: un modello addestrato a individuare pattern può trovarne uno che sembra significativo senza esserlo, una sorta di apofenia statistica. Feng Zhang del MIT, uno degli scienziati dietro la stessa tecnologia CRISPR, ha definito il lavoro genuinamente interessante, anche se la sua opinione è stata l'eccezione tra i ricercatori interpellati.

La lezione per ogni affermazione di un fornitore di IA

Nulla di tutto ciò significa che Claude non abbia trovato niente. Individuare un pattern strutturale insolito tra 200.000 sequenze in 21 ore è un risultato reale, e potrebbe ancora portare a qualcosa di utile una volta che un laboratorio indipendente lo esaminerà. Ciò che non sostiene ancora è il titolo di una scoperta inedita con un'importanza sconosciuta ma sottintesa.

Lo schema da tenere d'occhio non riguarda solo Anthropic. Il racconto che un'azienda di IA fa di ciò che il suo stesso modello ha appena ottenuto è l'affermazione di una parte interessata, non un fatto verificato. Prima che un'affermazione sulle capacità cambi una decisione d'acquisto, una voce di bilancio o una tesi d'investimento, conviene controllare se qualcuno esterno al fornitore l'ha confermata. In questo caso, due scienziati che hanno controllato non l'hanno fatto.