Der KI-Test, Den Keine Seite Einsehen Konnte

Ein Test, Den Keine Seite Lesen Konnte

Am 27. August 2026 führte Google DeepMind durch, was das Unternehmen als weltweit erste Doppelblind-Bewertung eines proprietären KI-Spitzenmodells bezeichnet, bei der keine der beiden Seiten das sensibelste Material der anderen sehen konnte. Die Bewertung nutzte Confidential Space, Teil von Google Clouds Confidential-Computing-Angebot, um die Prüfung innerhalb einer verifizierten kryptografischen Enklave durchzuführen: Die Testfragen des Prüfers blieben verschlüsselt und für Google unerreichbar, und die Modellgewichte von Google blieben verschlüsselt und für den Prüfer unerreichbar.

"Durch die Nutzung von Confidential Space innerhalb des Confidential-Computing-Portfolios von Google Cloud können wir kryptografisch nachweisen, dass sowohl die externen Bewertungsdaten als auch das proprietäre Modell für ihre jeweiligen Eigentümer privat bleiben", schrieb DeepMind in seiner Ankündigung. Vier Partner nahmen als Prüfer am Pilotprojekt teil: das Singapurer KI-Sicherheitsinstitut, die Datenschutz-Non-Profit-Organisation OpenMined, die Prüfgruppe AVERI und die Standardisierungsorganisation MLCommons.

Diese Konstruktion beseitigt einen Zielkonflikt, der bislang jede KI-Bewertung geprägt hat. Ein externer Prüfer muss entweder den selbst gemeldeten Werten eines Labors vertrauen, oder das Labor muss Modellgewichte herausgeben, die es als sein wichtigstes Geschäftsgeheimnis behandelt, oder der Prüfer muss seine Testfragen herausgeben und riskieren, dass sich das Modell die Antworten für das nächste Mal einfach merkt. Dieses Pilotprojekt ist der erste öffentliche Fall, in dem ein proprietäres KI-Spitzenmodell einen echten Test durchläuft, ohne dass eine Seite diesen Kompromiss eingehen muss.

Warum Benchmark-Werte Bisher Leicht Zu Manipulieren Waren

Das Problem, das dieses Pilotprojekt beheben soll, hat einen Namen: Benchmark-Kontamination, die Situation, in der ein Modell den Fragen, anhand derer es später bewertet wird, direkt oder indirekt bereits ausgesetzt war. Wenn das geschieht, misst ein Benchmark nicht mehr, was ein Modell tatsächlich kann, sondern was es sich bereits gemerkt hat.

Das Ausmaß des Problems ist nicht gering. Frühere Forschung, die in der Berichterstattung über das Pilotprojekt zitiert wird, fand Anzeichen für Benchmark-Leckagen bei etwa der Hälfte von 31 getesteten KI-Modellen, wobei die Kontamination die Werte bei größeren Modellen stärker verfälschte als bei kleineren. Das ist relevant, weil Benchmark-Werte nicht nur Marketingtext sind; Labore nutzen sie auch als Beleg für Sicherheitsansprüche, und Regulierungsbehörden sowie Unternehmenskäufer behandeln sie zunehmend als Compliance-Signal statt sie mit echter Skepsis zu betrachten.

Getestet Wurde Nicht Das Modell, Auf Das Es Ankommt

Gemini Flash Lite, das Modell, das DeepMind durch dieses Pilotprojekt schickte, gehört zur kleinsten und günstigsten Stufe der Gemini-Familie, nicht zum Spitzenmodell, dessen Fähigkeits- und Sicherheitsansprüche das meiste kommerzielle und regulatorische Gewicht tragen. Ein leichtes Modell zuerst zu testen, ist ein vernünftiger Weg, um neue technische Grundlagen zu erproben, doch es bedeutet auch, dass das Pilotprojekt die wichtigste Frage noch nicht beantwortet hat: ob dieselbe kryptografische Prüfung auch bei dem Modell funktioniert und durchgeführt wird, das Google tatsächlich als sein Spitzensystem verkauft.

Die vier Prüfpartner wurden von Google selbst ausgewählt, und das Singapurer KI-Sicherheitsinstitut ist eine echte staatliche Sicherheitsbehörde, was dem Pilotprojekt eine gewisse echte Unabhängigkeit verleiht. Aber kein externer Prüfer hat bislang die Integrität der Enklave selbst verifiziert, und DeepMind hat dies als Pilotprojekt beschrieben, nicht als dauerhafte Verpflichtung, künftig jedes Modell auf diese Weise zu testen.

Was Das Für KI-Käufer Und Regulierer In Der EU Und Großbritannien Bedeutet

Für eine Organisation in der EU oder in Großbritannien, die KI-Systeme kauft oder reguliert, ist die interessante Frage nicht, ob dieses konkrete Pilotprojekt funktioniert hat, sondern ob die Doppelblind-Bewertung zum Standardnachweis wird, den Anbieter künftig erbringen müssen. Die unabhängige Überprüfung der Sicherheitsansprüche eines Spitzenmodells bedeutet heute meist eine von zwei unbefriedigenden Optionen: dem eigenen veröffentlichten Modellsteckbrief des Anbieters vertrauen, oder Zugang zu den Gewichten verlangen, den kaum ein Labor gewähren wird.

Dieses Pilotprojekt ist eine funktionierende technische Antwort auf diese Lücke, aber noch keine rechtliche Anforderung irgendwo, und noch nicht auf ein Modell angewendet, dessen Ansprüche tatsächlich Beschaffungsentscheidungen oder behördliche Einreichungen bestimmen. Ein Käufer in der EU oder Großbritannien, der einen Anbieter von KI-Spitzenmodellen auf Compliance-Nachweise prüft, hat eine konkrete neue Frage zu stellen: ob dieser bereit ist, sein Spitzenmodell und nicht nur seine günstigste Stufe einer solchen Bewertung zu unterziehen.

Weiterlesen: Qwens Downloadrekord verdeckt eine Compliance-Lücke  |  Anthropics Förderung wiederholt OpenAIs Lücke