Was am Tag der Veröffentlichung geschah
OpenAI plante, die Ankündigung von GPT-6 Astra am 3. September 2026 um 14 Uhr Eastern Time zu veröffentlichen. Der Beitrag ging online, wurde wieder entfernt, erschien als toter Link, als OpenAIs eigener Account ihn um 15:32 Uhr twitterte, und war erst zwischen etwa 16:20 und 17:20 Uhr zuverlässig einsehbar, nachdem Sam Altman den Link bereits erneut geteilt hatte.
In diesen wenigen Stunden änderten sich mehrere der Benchmark-Zahlen im Beitrag selbst, nicht nur einmal, sondern in mehreren Schnappschüssen, bevor manche von ihnen wieder auf ihre ursprünglichen Werte zurückgesetzt wurden.
Die Zahlen, die sich bewegten, Schnappschuss für Schnappschuss
Eine unabhängige Beobachtung der aufeinanderfolgenden Versionen der Seite, berichtet von Fortune, verzeichnete folgende Änderungen:
| Kennzahl | Frühe veröffentlichte Zahl | Spätere Überarbeitung | Aktueller Stand |
|---|---|---|---|
| Astra bei ARC-AGI-3 | 98,6% (Embargo-Entwurf) | 99,99% (Live-Blog) | 99,99% |
| Astra-Halluzinationsrate | 4,2% (erster Schnappschuss) | 2% (sechster Schnappschuss) | Zurückgesetzt auf 4,2% |
| GPT-5.6-Sol-Halluzinationsrate | 12,2% (erste Version) | 9,4% (spätere Version) | Zurückgesetzt auf 12,2% |
| Claude Fable 5.1, FrontierMath Tier 4 | 87,8% (erste Version) | 78%, dann 83% | 83% |
Zwei weitere Kennzahlen bewegten sich im selben Zeitfenster: ein ExploitBench-Cybersicherheitswert für GPT-5.6 Sol verschob sich von 5,5 auf 11,5 Prozent, bevor OpenAI erklärte, eine Rücksetzung zu prüfen, und ein Coding-Benchmark für Astra rückte von 57,7 auf 57,9 Prozent.
OpenAIs Erklärung, und warum sie Forscher nicht ganz überzeugte
OpenAI erklärte gegenüber Fortune, dem Unternehmen liege viel daran, Bewertungen korrekt zu erfassen, und die meisten Bewertungen wiesen je nach genauem Checkpoint, Scaffold und Bewertungslauf ein Rauschen von wenigen Prozentpunkten auf. Das Unternehmen bezeichnete die Änderungen als Korrekturen, die die beste verfügbare Schätzung der Modellleistung abbilden sollten.
Anka Reuel und Mike Hardy vom Stanford Intelligent Systems Laboratory und Trustworthy AI Lab sagten, das Muster lese sich wie Benchmaxxing, also eine Optimierung auf eine gute Schlagzeilen-Zahl, und verwiesen auf unzureichende technische Transparenz darüber, was sich genau änderte und warum. Vincent Sunn Chen von Snorkel AI äußerte sich zurückhaltender und ordnete die Verschiebungen als normale letzte Launch-Logistik ein, forderte aber dennoch eine Branchennorm dafür, zu dokumentieren, was sich zwischen Benchmark-Überarbeitungen ändert und wann.
Warum die Konkurrenzzahlen mehr zählen als Astras eigene
Dass OpenAI die Werte des eigenen Modells nach oben korrigiert, legt ein naheliegendes Motiv nahe. Aufschlussreicher ist, dass sich auch die Zahlen eines Konkurrenten bewegten, in beide Richtungen, auf derselben Seite, am selben Tag: Claude Fable 5.1s FrontierMath-Wert fiel um neun Punkte und erholte sich dann teilweise, und die HealthBench-Professional-Werte von Claude Fable 5.1 und Opus 5 wurden mitten im Launch nach oben korrigiert, bevor sie sich einpendelten.
Dass ein Anbieter die eigene Angabe korrigiert, ist Routine. Dass die Launch-Seite eines Anbieters auch der Ort ist, an dem sich der öffentliche Wert eines Konkurrenten mehrfach ändert, bevor die Branche die Seite überhaupt zu Ende gelesen hat, ist ein anderer Vorgang, und genau dieser macht daraus mehr als eine PR-Fußnote, nämlich ein Sorgfaltspflicht-Problem.
Die Entscheidung, die sich dadurch ändert: was eine Benchmark-Karte in dem Moment wert ist, in dem man sie liest
Jeder Unternehmenskäufer, der diese Woche Astras Launch-Zahlen zu ARC-AGI-3 oder Halluzinationen in einem Beschaffungsvermerk zitierte, zitierte faktisch eine Zahl, die sich bereits mindestens einmal geändert hatte und sich erneut ändern könnte. Es gibt heute keine regulatorische Pflicht, dass ein KI-Labor seine eigenen veröffentlichten Bewertungsangaben so versioniert und datiert, wie es bei einer Finanzmeldung der Fall ist.
Die praktische Abhilfe ist billig und schon heute verfügbar: die Benchmark-Seite in dem Moment, in dem man sich auf sie stützt, als Screenshot oder archive.org-Momentaufnahme sichern, die genaue Zahl samt Zeitstempel im Beschaffungsdokument vermerken, und eine Launch-Tag-Vergleichstabelle als eine noch zu überprüfende Behauptung behandeln, nicht als feste Eingabe für die Entscheidung.
Weiterlesen: OpenAI Versprach Astra-Zugang, Den Es Nicht Liefern Konnte | Clifford wechselte zu Anthropic, blieb ARIA-Chef
