A Anthropic reescreve as regras sobre perguntas de biologia

A Anthropic afirmou esta semana que reescreveu a constituição que rege o classificador de segurança de conteúdo biológico da Fable 5, recolheu opiniões de peritos externos, construiu novos dados de treino e voltou a treinar o sistema para separar pedidos genuinamente perigosos das perguntas clínicas e educativas comuns que estavam a ser apanhadas juntamente com eles. A empresa apresenta a mudança como um ajuste de precisão, não como um alívio da sua posição sobre os domínios que considera genuinamente perigosos: "O custo de a Fable ser utilizada indevidamente num domínio de duplo uso como a biologia poderia ser potencialmente catastrófico", escreveu a Anthropic, explicando por que razão os próprios domínios restritos não mudaram.

O resultado, segundo o próprio anúncio da Anthropic, é uma queda de cerca de 85% nos recursos de segurança relacionados com biologia em todas as superfícies de produto da Fable 5, embora a dimensão da melhoria varie muito consoante o local onde o modelo é utilizado: cerca de menos 67% na Claude.ai, menos 55% na Cowork, menos 17% na Claude Code e menos 7% na Claude Platform, utilizada por programadores empresariais. A Anthropic afirma que os pedidos afetados eram, na sua maioria, tarefas clínicas e educativas comuns: interpretar resultados de análises, pesquisar sintomas ou explorar temas de biologia para uma aula ou um trabalho.

Os domínios que continuam totalmente trancados

A Fable 5 continua a recusar automaticamente um conjunto definido de domínios de duplo uso: virologia, toxicologia e design molecular, juntamente com o desenvolvimento profissional de fármacos, independentemente da forma como o pedido é formulado. A Anthropic afirma que os pedidos que ultrapassam esta linha são redirecionados para o Opus 5, que a empresa descreve como "um modelo capaz que não tem o mesmo nível de capacidade biológica que a Fable 5". O encaminhamento é deliberado: um assistente de uso geral que pode continuar a ser útil para a tarefa subjacente, mas sem o raciocínio biológico de ponta de que um agente malicioso precisaria para algo mais próximo de trabalho relevante para armas.

Vale a pena deter-se nesta distinção, porque contraria a leitura errada mais ruidosa possível desta atualização. A Anthropic não está a dizer que a sua IA é agora mais permissiva em relação à biologia em geral. Está a dizer o contrário: agora suficientemente precisa para distinguir biologia benigna de biologia perigosa, e suficientemente confiante nessa distinção para manter a metade perigosa trancada exatamente onde estava. O facto de apenas alguns domínios terem sido aliviados enquanto outros permanecem totalmente trancados é, em si mesmo, o sinal de que a restrição nunca foi realmente sobre a biologia como matéria. Foi sempre sobre um conjunto mais restrito de capacidades que a Anthropic considera catastróficas em caso de utilização indevida, e esse conjunto não mudou.

Por que o antigo atrito era um custo real, não um boato

As equipas europeias da saúde, biotecnologia e farmacêutica que têm usado a Claude ao longo do último ano vão reconhecer o padrão que esta atualização pretende corrigir. Um clínico a pedir à Fable 5 ajuda para interpretar um painel sanguíneo, um investigador de biotecnologia a pedir-lhe para resumir um mecanismo de ação, ou um colaborador de assuntos regulamentares farmacêuticos a pedir-lhe para explicar um termo toxicológico usado num estudo que está a ler, podiam todos desencadear o mesmo recurso de segurança destinado a um pedido sobre armas biológicas. A solução alternativa dentro de muitas organizações europeias de ciências da vida tem sido informal e discreta: reformular a pergunta, retirar o vocabulário clínico que ativa o filtro, ou simplesmente deixar de perguntar à Claude e voltar a um motor de pesquisa ou a um colega.

O próprio anúncio da Anthropic é, na prática, um reconhecimento de que este atrito era real e de que tinha um custo para os utilizadores legítimos, e não uma hipótese levantada por críticos. A empresa reconhece que alguns pedidos de baixo risco continuarão ocasionalmente a acionar as medidas de segurança, e afirma que vai continuar a aperfeiçoar o classificador com base nas opiniões dos utilizadores, o que soa menos a uma volta de vitória e mais a uma empresa a admitir que a sua calibração anterior era demasiado grosseira para a forma como as pessoas em áreas reguladas e de risco elevado usam efetivamente a ferramenta.

A taxa de segurança que outros laboratórios de IA também terão de recalibrar

A Anthropic não é o único laboratório de IA que pendeu para uma cautela excessiva e generalizada em domínios científicos sensíveis, e não será o único que terá de recalibrar publicamente à medida que a pressão de adoção aumenta. É de esperar que a OpenAI e a Google enfrentem exatamente o mesmo dilema: um recurso de segurança amplo que bloqueia um pedido real sobre armas biológicas também bloqueará um oncologista real, e a pressão comercial para corrigir isso só aumenta à medida que mais setores regulamentados encaminham trabalho sério através destes modelos. A atualização desta semana lê-se melhor como o primeiro movimento de um reajuste a nível do setor sobre onde realmente se situa a taxa de segurança em biologia, e não como uma decisão isolada da Anthropic.

A Anthropic afirma que um programa de acesso de confiança que permitiria a investigadores validados trabalhar com capacidade biológica de ponta, sem a restrição geral aplicada a todos os outros, ainda está apenas "em desenvolvimento". Até esse programa ser lançado, a orientação prática para qualquer organização europeia de ciências da vida mantém-se inalterada: os pedidos clínicos e de investigação legítimos deverão agora encontrar muito menos recusas falsas, mas tudo o que envolva procedimentalmente virologia, toxicologia ou design molecular continuará a ser encaminhado para um modelo menos capaz, por conceção, e não se deve esperar que qualquer formulação engenhosa altere isso.