Um Benchmark do Dia de Lançamento Não É um Número Fixo

O que aconteceu no dia do lançamento

A OpenAI planeava publicar o anúncio do GPT-6 Astra às 14h, hora do Leste dos EUA, no dia 3 de setembro de 2026. A publicação foi colocada online, retirada, reapareceu como uma ligação quebrada quando a própria conta da OpenAI a publicou no Twitter às 15h32, e só ficou visível de forma fiável entre aproximadamente as 16h20 e as 17h20, depois de Sam Altman já ter voltado a partilhar a ligação.

Ao longo dessas poucas horas, vários dos números de referência na própria publicação mudaram, não uma única vez mas em várias capturas sucessivas, antes de alguns voltarem aos valores originais.

Os números que se moveram, captura a captura

A monitorização independente das versões sucessivas da página, reportada pela Fortune, registou as seguintes alterações:

Mais duas métricas mudaram na mesma janela: uma pontuação de cibersegurança ExploitBench para o GPT-5.6 Sol passou de 5,5 para 11,5 por cento antes de a OpenAI dizer que estava a investigar uma reversão, e um benchmark de programação para a Astra subiu de 57,7 para 57,9 por cento.

A explicação da OpenAI, e porque não convenceu totalmente os investigadores

A OpenAI disse à Fortune que se preocupa profundamente em obter avaliações corretas, e que a maioria das avaliações tem um ruído de alguns pontos percentuais consoante o checkpoint exato, o scaffold e a execução de avaliação usados na comunicação. A empresa descreveu as alterações como correções destinadas a representar a sua melhor estimativa do desempenho disponível do modelo.

Anka Reuel e Mike Hardy, do Intelligent Systems Laboratory e do Trustworthy AI Lab de Stanford, disseram que o padrão se lê como benchmaxxing, ou seja, ajustar em direção a um bom número de manchete, e apontaram uma transparência técnica insuficiente sobre o que exatamente mudou e porquê. Vincent Sunn Chen, da Snorkel AI, foi mais comedido, enquadrando as mudanças como logística normal de última hora do lançamento, mas ainda assim pediu uma norma do setor para documentar o que muda entre revisões de um benchmark e quando.

Porque é que os números dos concorrentes importam mais do que os da própria Astra

A OpenAI corrigir em alta as pontuações do seu próprio modelo sugere um motivo óbvio. O pormenor mais revelador é que os números de um rival também se moveram, em ambas as direções, na mesma página, no mesmo dia: a pontuação FrontierMath do Claude Fable 5.1 caiu nove pontos e depois recuperou parcialmente, e as pontuações HealthBench Professional do Claude Fable 5.1 e do Opus 5 foram revistas em alta a meio do lançamento antes de estabilizarem.

Um fornecedor corrigir a sua própria afirmação é rotina. A página de lançamento de um fornecedor ser também o local onde a pontuação pública de um concorrente é revista, mais do que uma vez, antes de o setor sequer terminar de a ler, é um tipo de acontecimento diferente, e é esse que transforma isto de uma nota de imprensa num problema de diligência devida.

A decisão que isto muda: quanto vale uma ficha de benchmark no momento em que se lê

Qualquer comprador empresarial que esta semana tenha citado os números de lançamento da Astra sobre ARC-AGI-3 ou alucinações num memorando de compra estava, na prática, a citar um número que já tinha mudado pelo menos uma vez e que podia voltar a mudar. Hoje não existe qualquer exigência regulatória de que um laboratório de IA controle versões e date as suas próprias afirmações de avaliação publicadas da forma como um relatório financeiro depositado é datado.

A solução prática é barata e já está disponível: capturar ou arquivar a página do benchmark no momento em que se confia nela, anotar o número exato e a hora no documento de compra, e tratar uma tabela comparativa do dia de lançamento como uma afirmação a reverificar antes de assinar um contrato, não como um dado fixo para a decisão.

Leia a seguir: A OpenAI Prometeu Acesso ao Astra Que Ainda Não Podia Dar  |  Clifford junta-se à Anthropic, mantém-se na ARIA