Et Lanceringsdags-Benchmark Er Ikke Et Fast Tal

Hvad der skete på lanceringsdagen

OpenAI planlagde at offentliggøre sin GPT-6 Astra-annoncering klokken 14 amerikansk østkysttid den 3. september 2026. Opslaget gik i luften, blev fjernet igen, dukkede op som et dødt link, da OpenAIs egen konto tweetede det klokken 15.32, og blev først pålideligt synligt mellem cirka 16.20 og 17.20, efter Sam Altman allerede havde delt linket igen.

I løbet af de få timer ændrede flere af benchmark-tallene i selve opslaget sig, ikke kun én gang men over flere øjebliksbilleder, før nogle af dem blev sat tilbage til deres oprindelige værdier.

Tallene der flyttede sig, øjebliksbillede for øjebliksbillede

Uafhængig overvågning af sidens successive versioner, rapporteret af Fortune, registrerede følgende ændringer:

To yderligere måltal flyttede sig i samme tidsrum: en ExploitBench-cybersikkerhedsscore for GPT-5.6 Sol gik fra 5,5 til 11,5 procent, før OpenAI sagde, at man undersøgte en tilbagerulning, og et kodningsbenchmark for Astra steg fra 57,7 til 57,9 procent.

OpenAIs forklaring, og hvorfor den ikke fuldt ud overbeviste forskerne

OpenAI fortalte Fortune, at man går meget op i at få evalueringer rigtige, og at de fleste evalueringer har en støj på nogle få procentpoint afhængigt af det nøjagtige checkpoint, stillads og evalueringskørsel, der bruges i rapporteringen. Selskabet beskrev ændringerne som rettelser, der skulle afspejle dets bedste skøn over den tilgængelige modelydeevne.

Anka Reuel og Mike Hardy fra Stanfords Intelligent Systems Laboratory og Trustworthy AI Lab sagde, at mønsteret læser som benchmaxxing, altså justering mod et godt overskriftstal, og pegede på utilstrækkelig teknisk gennemsigtighed om, hvad der præcis ændrede sig og hvorfor. Vincent Sunn Chen fra Snorkel AI var mere afdæmpet og betegnede forskydningerne som normal logistik i sidste øjeblik af en lancering, men efterlyste alligevel en branchenorm for at dokumentere, hvad der ændrer sig mellem benchmark-revisioner, og hvornår.

Hvorfor konkurrenternes tal betyder mere end Astras egne

At OpenAI opjusterer sit eget models scorer, antyder et oplagt motiv. Det mere sigende detalje er, at en rivals tal også flyttede sig, i begge retninger, på samme side, samme dag: Claude Fable 5.1's FrontierMath-score faldt ni point og genvandt derefter delvist, og Claude Fable 5.1 og Opus 5's HealthBench Professional-scorer blev opjusteret midt i lanceringen, før de stabiliserede sig.

At en leverandør retter sin egen påstand, er rutine. At en leverandørs lanceringsside også er stedet, hvor en konkurrents offentlige score bliver revideret, mere end én gang, før branchen er færdig med at læse den, er en anden slags begivenhed, og det er den, der gør dette til mere end en PR-fodnote, nemlig et due diligence-problem.

Beslutningen dette ændrer: hvad et benchmark-kort er værd i det øjeblik man læser det

Enhver virksomhedskøber, der denne uge citerede Astras lanceringsdags-tal for ARC-AGI-3 eller hallucinationer i et indkøbsnotat, citerede reelt et tal, der allerede var ændret mindst én gang og kunne ændre sig igen. Der findes i dag intet lovkrav om, at et AI-laboratorium skal versionsstyre og datere sine egne offentliggjorte evalueringspåstande, sådan som en finansiel indberetning bliver det.

Den praktiske løsning er billig og allerede tilgængelig: tag et skærmbillede af eller arkiver benchmark-siden i det øjeblik, man stoler på den, notér det nøjagtige tal og tidsstemplet i indkøbsdokumentet, og behandl en sammenligningstabel fra lanceringsdagen som en påstand, der skal efterprøves, før en kontrakt underskrives, ikke som et fast input til beslutningen.

Læs videre: OpenAI Lovede Astra-Adgang, Det Endnu Ikke Kunne Levere  |  Clifford skiftede til Anthropic, blev ved ARIA