Mistral eleva a precisão de 27% para 86%

O referencial que a Mistral escolheu publicar

A Mistral testou o Agentic Search num exame concreto: o FinanceBench, um referencial composto por 368 documentos reais depositados na SEC e 150 perguntas que exigem, cada uma, encontrar e verificar um facto específico dentro de documentos financeiros densos.

Na base de referência RAG de passo único da própria Mistral, em que um modelo lê apenas o que uma única pesquisa devolve e responde só com base nisso, a precisão no FinanceBench situava-se em 26,7 por cento. O Agentic Search, que permite ao modelo realizar várias rondas de pesquisa, abrir documentos individuais e verificar as suas próprias conclusões antes de responder, elevou esse valor para 86 por cento, segundo os resultados publicados pela própria Mistral. Um salto de aproximadamente uma resposta correta em quatro para mais de oito em dez é um resultado significativo para uma única atualização de produto que afeta apenas a camada de pesquisa.

O tipo de falha que o Agentic Search visa corrigir

O RAG de passo único falha aos utilizadores empresariais de uma forma específica e recorrente: recolhe um punhado de fragmentos de documentos numa única passagem e obriga o modelo a responder apenas com base neles, mesmo quando a resposta verdadeira está numa tabela, numa nota de rodapé ou num documento completamente diferente.

A Mistral construiu o Agentic Search em torno de cinco operações que se assemelham a comandos comuns de sistemas de ficheiros: search, open, navigate, read e grep. Em vez de adivinhar a partir de um conjunto fixo de fragmentos recolhidos, o modelo pode abrir um documento específico, navegar até uma tabela, ler o contexto envolvente e pesquisar de novo se a primeira resposta parecer incompleta. Para uma pergunta como encontrar uma única cláusula de indemnização entre centenas de documentos da SEC, este processo iterativo aproxima-se muito mais do modo como um analista experiente trabalha na realidade do que uma simples consulta a uma base de dados alguma vez conseguiu. A Mistral apresenta isto como prova de que a camada de pesquisa tem sido o verdadeiro estrangulamento na pesquisa de IA empresarial.

Um segundo referencial afasta a hipótese de acaso

A Mistral não ficou por um único referencial antes de publicar estes valores de precisão.

O OfficeQA Pro é um teste separado, construído a partir de 696 boletins do Tesouro e 133 perguntas, que cobre um tipo de documento e um tipo de pergunta diferentes do FinanceBench. A precisão no OfficeQA Pro subiu, segundo a Mistral, de 6,3 por cento com pesquisa de passo único para 51,9 por cento com o ciclo agêntico completo. Os valores absolutos são mais baixos do que no FinanceBench porque as perguntas do OfficeQA Pro são propositadamente mais difíceis, e a forma do resultado mantém-se igual: uma base de referência de passo único que mal acerta uma em vinte perguntas, e um ciclo de pesquisa e verificação multietapas que recupera a maior parte dessa diferença.

O que a tabela mostra sobre o custo, não só sobre a precisão

A pesquisa multietapas soa a algo que deveria custar mais, e nos próprios testes da Mistral verificou-se precisamente o contrário.

Dois referenciais, uma medição de latência e uma medição de tokens moveram-se todos na mesma direção, o pormenor que a Mistral destaca junto dos compradores empresariais que ponderam se um processo de pesquisa mais aprofundado vale o esforço técnico adicional.

O que a opção no local cobre de facto para os compradores europeus

O Agentic Search funciona na nuvem da Mistral ou inteiramente na infraestrutura própria de um cliente, e essa opção no local é o pormenor mais relevante para as empresas europeias e britânicas que avaliam fornecedores de pesquisa de IA sob requisitos de residência de dados.

A maioria dos produtos de IA que combinam grandes modelos de linguagem com a recolha de documentos é construída e alojada exclusivamente em infraestrutura de grandes fornecedores de nuvem norte-americanos, o que obriga os compradores europeus, durante a sua avaliação de fornecedores, a aceitar que documentos sensíveis saiam do ambiente próprio da organização. A Mistral, um laboratório de IA francês, oferece um percurso de implementação alternativo em que a infraestrutura de pesquisa e recolha pode funcionar dentro do próprio centro de dados ou da nuvem privada de um cliente. Trata-se de uma distinção real e útil, e é mais restrita do que a soberania de dados plena: uma opção de implementação no local descreve onde o software é executado, não uma auditoria independente, uma certificação de conformidade específica, nem uma garantia sobre a forma como o modelo subjacente foi treinado. As empresas devem tratar isto como um elemento da sua avaliação de fornecedores, a par da sua própria revisão de conformidade.

Leia a seguir: 4.000 apps em 30 dias: a aposta de IA da Cloudflare  |  Mistral divide a IA soberana em duas apostas