O que a Claude encontrou de facto

A Anthropic lançou quase mil cópias do seu modelo Claude sobre uma base de dados pública de sequências de ADN, e após 21 horas de pesquisa assinalou um padrão genético repetido junto a uma enzima pouco estudada. A empresa chama a combinação ART, sigla de array-associated reverse transcriptase.

A tarefa usou cerca de 950 agentes ao longo de 210 milhões de tokens, reduzindo mais de 200 000 enzimas reverse transcriptase conhecidas a 20 candidatas sólidas. O padrão aparece em bacteriófagos, os vírus que infetam bactérias, e a sua série de repetições de ADN espaçadas de forma regular assemelha-se estruturalmente às repetições por trás da edição genética CRISPR. Testes preliminares sugerem que a série produz fragmentos curtos de ARN, razão pela qual a Anthropic lhe chama programável.

A distância entre o comunicado e o artigo científico

O próprio relatório da Anthropic é mais cauteloso do que o título sugere. A empresa escreve abertamente que ainda não conhece a função da ART, e o CEO Dario Amodei disse a jornalistas que a sua função precisa, a sua utilidade biotecnológica se existir, e o seu nível de importância ainda não são claros.

A descoberta assenta num preprint, não num artigo revisto por pares, e o único laboratório que a avaliou até agora pertence à empresa que construiu o modelo que faz a afirmação. Nenhuma equipa externa repetiu o resultado nem demonstrou que a ART faça seja o que for numa célula viva.

O que os cientistas independentes disseram de facto

Dois investigadores identificados pelo nome, alheios à Anthropic, contestaram diretamente esta abordagem.

QuemO que disse
Anthropic (Dario Amodei, CEO)A função precisa da ART, a sua utilidade biotecnológica se existir, e o seu nível de importância ainda não são claros.
Kevin Blake, microbiólogo, Washington UniversityNão há nada que indique que isto seja um rival da tecnologia CRISPR, nem que possa tornar-se numa aplicação terapêutica ou prática.
Dimitri Perrin, informático, Queensland University of TechnologyA própria enzima já era conhecida. A ART é semelhante ao CRISPR na arquitetura, mas ainda não há prova de que o seja também na função.

Ambos os investigadores apontam para o mesmo risco: um modelo treinado para reconhecer padrões pode encontrar um que parece significativo sem o ser, uma espécie de apofenia estatística. Feng Zhang, do MIT, um dos cientistas por trás da própria edição genética CRISPR, chamou ao trabalho genuinamente interessante, embora a sua opinião tenha sido a exceção entre os investigadores consultados.

A lição para qualquer afirmação de um fornecedor de IA

Nada disto significa que a Claude não tenha encontrado nada. Detetar um padrão estrutural invulgar entre 200 000 sequências em 21 horas é um resultado real, e ainda pode levar a algo útil assim que um laboratório independente o examine. O que ainda não sustenta é o título de uma descoberta inédita com uma importância desconhecida mas sugerida.

O padrão a vigiar não é exclusivo da Anthropic. O relato que uma empresa de IA faz sobre aquilo que o seu próprio modelo acabou de alcançar é a afirmação de uma parte interessada, não um facto verificado. Antes que uma afirmação sobre capacidades mude uma decisão de compra, uma rubrica orçamental ou uma tese de investimento, vale a pena verificar se alguém fora do fornecedor a confirmou. Neste caso, dois cientistas que analisaram não o fizeram.