Eine Zahl, keine bloße Warnung

Am 8. September nannte Anthropics eigener Alignment Science Lead eine konkrete Zahl für das Risiko, an dem sein Arbeitgeber täglich weiterbaut. Evan Hubinger antwortete einem scheidenden Kollegen und schrieb, er persönlich sehe eine Wahrscheinlichkeit von über 10 Prozent, dass KI die Menschheit in diesem Jahrzehnt auslöscht.

Der Kollege war Jacob Coxon, ein 27-jähriger Forscher, der drei Jahre im Pretraining arbeitete, zunächst bei OpenAI am Modell GPT-4o, dann bei Anthropic. Coxon kündigte spät am Dienstag und schrieb, beide Labore "rasten geradewegs auf selbstverbessernde Superintelligenz zu und setzen unser Leben aufs Spiel", die Menschen, die diese Technologie bauten, glaubten "ernsthaft, dass sie uns bis zum Ende des Jahrzehnts alle töten könnte". Hubinger nannte ihn korrekt und stellte klar, das Risiko beziehe sich auf rekursive Selbstverbesserung, nicht auf die kommerziellen Modelle, die Anthropic heute verkauft.

Warum eine Zahl von innen anders wirkt

Öffentliche Schätzungen zu katastrophalen KI-Risiken sind nicht neu, externe Forscher und Aktivisten veröffentlichen seit Jahren Umfragewerte. Neu am 8. September war, wer sprach: die Person, die Anthropic selbst mit der Leitung der Alignment-Forschung betraut hat, offen und mit einer Zahl statt einer Stimmungslage.

Zum Zeitpunkt der Berichterstattung hatte Anthropic keine Unternehmensstellungnahme zu der Zahl abgegeben, und Hubinger machte ausdrücklich klar, dass es sich um seine persönliche Einschätzung handle, nicht um eine offizielle Firmenposition. Diese Unterscheidung überlebt keine Compliance-Tabelle. Die Zahl eines benannten Risikoverantwortlichen, so persönlich sie auch sein mag, ist genau die Art von Beleg, die ein Compliance-Team tatsächlich dokumentieren kann.

Der Compliance-Aspekt, den die Berichte ausließen

Artikel 55 des EU-KI-Gesetzes verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko seit dem 2. August 2025, solche Risiken zu bewerten und zu dokumentieren. Seit dem 2. August 2026, etwas mehr als einen Monat vor Hubingers Beitrag, kann das KI-Büro die Einhaltung formal prüfen.

Die Pflichten sind konkret: standardisierte Modellbewertung samt gegnerischer Tests, Bewertung und Minderung systemischer Risiken im gesamten EU-Markt, Meldung schwerwiegender Vorfälle an das KI-Büro und angemessene Cybersicherheit für das Modell selbst. Anbieter, deren Trainingsrechenleistung die Systemrisiko-Schwelle des Gesetzes überschreitet, jene Gruppe, in der Spitzenlabore wie Anthropic stehen, sind genau die Adressaten dieses Artikels. Eine bezifferte Risikoangabe der Person, die die Alignment-Arbeit dieses Anbieters leitet, ist exakt die Art von absehbarem Risiko, nach der eine Aufsichtsbehörde oder ein Prüfer nun sucht.

Was sich für das einkaufende Team ändert

Am Produkt selbst ändert sich heute nichts. Kein Modell wurde zurückgezogen, keine Funktion deaktiviert, und Hubingers eigene Klarstellung bezog seine Schätzung auf ein zukünftiges Szenario, nicht auf den Assistenten, der gerade die Fragen Ihres Teams beantwortet.

Ändern sollte sich die Dokumentation. Lieferantenregister, die bislang so etwas wie "KI-Sicherheitsbedenken, wird beobachtet" enthalten, können jetzt eine belegte, datierte, offen genannte Zahl anführen. Und jedes Team, das für einen Kernprozess von einem einzigen Spitzenlabor abhängt, sollte diese Abhängigkeit als benanntes Konzentrationsrisiko führen, nicht als Fußnote, zumal die Zahl aus dem Unternehmen selbst kam und nicht von einem Kritiker von außen.

Weiterlesen: Ihr KI-Anbieter Hat Gerade Post Aus Brüssel Bekommen  |  Anthropics Sicherheitsbericht listet eigene Fehler auf