Um ensaio de sábado do chefe de um fornecedor de IA
No sábado, 10 de outubro, Satya Nadella publicou no seu blogue pessoal um ensaio intitulado 'Models as Insider Risks in the Super Intelligence Era'. O TechCrunch noticiou-o como uma publicação no X e descreveu-o como um apelo a recuar um passo e avaliar a arquitetura de confiança da IA. Segundo o TechCrunch, surgiu depois de relatos de que as empresas de IA parecem estar a perder o controlo dos seus modelos e de um plano do presidente executivo da Anthropic, Dario Amodei, para um desenvolvimento mais cauteloso.
O autor dirige um grande fornecedor de IA e escreve que a responsabilidade não pode ser externalizada para os fornecedores de modelos. A sua frase central é que é preciso separar o fornecimento de inteligência da autoridade sobre ela. Propõe rodear os modelos não deterministas de um desenho de sistema determinista, controlos humanos e procedimentos operacionais fiáveis, e tratar os modelos de fronteira, fechados ou de pesos abertos, como riscos internos. A comparação não pressupõe má intenção: qualquer agente capaz com acesso a sistemas importantes pode cometer erros ou ser comprometido.
Sete princípios, sete perguntas para um fornecedor
O ensaio enumera sete princípios. Cada um converte-se numa pergunta a um fornecedor de agentes e numa linha a pedir no contrato.
| Princípio | Pergunta ao fornecedor | O que pedir |
|---|---|---|
| Diversidade de modelos | Um mesmo modelo pode fazer o trabalho e verificá-lo? | Nenhum modelo como única dependência nem como verificador de si próprio |
| Observar tudo | Cada ação relevante deixa provas legíveis e invioláveis? | Registos de ações que uma pessoa possa ler e o cliente possa exportar |
| Verificabilidade | O sistema inteiro é testado contra falhas, ataques e casos-limite? | Resultados de testes além das tarefas bem-sucedidas |
| Controlos independentes | Quem decide a que o modelo pode aceder e o que pode fazer? | Permissões definidas pelo cliente, não predefinições do fornecedor |
| Auditabilidade independente | A validação é independente da inteligência que está a ser validada? | Provas que não dependam do relatório do próprio modelo |
| Contenção | Uma pessoa autorizada pode pausar ou parar o modelo a meio de uma tarefa? | Um controlo de paragem documentado e quem o pode usar |
| Divulgação de incidentes | Vão dizer aos clientes afetados o que falhou e que controlos falharam? | Uma obrigação de notificação com prazo |
Os princípios de contenção e observação trazem as frases mais incisivas do ensaio: assumir que um modelo está comprometido e contê-lo desde o início, como um travão de emergência, e fazer com que cada ação relevante deixe provas legíveis e invioláveis.
Onde a lista volta a apontar para a Microsoft
O mesmo fornecedor está a construir produtos de agentes. Segundo a heise, o Windows 11 vai receber um desktop agêntico, e a meio de setembro a Microsoft apresentou um projeto de código de conduta para os seus modelos MAI, segundo o qual nunca devem resistir a ser interrompidos ou desligados. A lista de Nadella é por isso um teste que os produtos da própria Microsoft também têm de passar, e as respostas mostrarão até que ponto a prática acompanhou o ensaio.
A Microsoft também não é o único fornecedor do mercado, e nada no ensaio lhe é específico. As sete perguntas funcionam da mesma forma com qualquer produto de agentes, e por isso convém escrevê-las agora, antes da próxima ronda de compras.
Que perguntas pode responder hoje
Ordene as sete perguntas em duas colunas: as que consegue responder sobre os seus agentes atuais a partir da documentação e as que não consegue. A segunda coluna é a sua lista para o fornecedor. Decida antes da reunião que resposta em falta travaria a compra. A contenção e a observação são as mais fáceis de testar numa demonstração, porque pode pedir uma paragem a meio de uma tarefa e um registo de exemplo.
O ensaio não menciona a Lei da IA da UE, por isso saber se uma implementação cai sob as suas obrigações de supervisão humana é uma questão para os seus consultores jurídicos, e não algo que esta lista resolva. O que lhe dá é um vocabulário comum para a conversa, escrito pelo chefe de um fornecedor de IA.
Leia a seguir: O Copilot muda de nome. A fatura muda de forma. | O patch que fechou um buraco e abriu outro
