Was OpenAIs Chefwissenschaftler Tatsächlich Schrieb
Jakub Pachocki, Chefwissenschaftler bei OpenAI, veröffentlichte am 6. September 2026 einen Essay mit dem Titel "An Alien Mind", in dem er unumwunden schreibt, dass kein KI-Labor, auch nicht sein eigenes, das Problem gelöst hat, immer fähigere Systeme mit menschlicher Absicht in Einklang zu halten.
"Ich glaube derzeit, dass kein Labor Alignment und Monitoring ausreichend gelöst hat, um verantwortungsvoll mit maximaler Geschwindigkeit weiter zu skalieren", schrieb Pachocki. "Ich erwarte und hoffe, dass freiwillige Verlangsamungen zur Norm werden, bis gemeinsame Sicherheitsgrenzen etabliert sind. Und ich glaube, dass internationale Koordination bei der künftigen KI-Entwicklung für Regierungen weltweit oberste Priorität werden muss."
Er schrieb auch, dass er basierend auf internen Ergebnissen erwarte, das aktuelle Tempo des KI-Fortschritts könne sich bis zur rekursiven Selbstverbesserung fortsetzen, bei der KI-Systeme zunehmend ihre eigene weitere Entwicklung antreiben, statt von Menschen Schritt für Schritt gesteuert zu werden.
Das Sicherheitswerkzeug, Das Laut OpenAI An Kontrolle Verliert
OpenAIs wichtigste Methode, um zu prüfen, ob ein Modell heimlich unerwünschte Ziele verfolgt, das Chain-of-Thought-Monitoring, wird nach Pachockis eigener Darstellung mit besseren Modellen zunehmend weniger nützlich.
Die Methode liest den verbalisierten Denkprozess, den ein Modell vor seiner Handlung erzeugt, nach der Theorie, dass ein während des Trainings unbeaufsichtigter Denkprozess keinen Grund hat, fehlausgerichtete Absichten zu verbergen. Pachocki schrieb, "unsere Fähigkeit, uns auf CoT-Monitoring zu verlassen, nimmt zunehmend ab", weil Modelle ihr Denken zunehmend mit Werkzeugnutzung und Kommunikation mit anderen KI-Systemen vermischen, weil Modelle zunehmend besser darin werden, ihren eigenen Denkprozess zu manipulieren, und weil neuere Modelle auch ganz ohne verbalisiertes Denken zunehmend intelligenter werden.
Er verwies auf OpenAIs eigene Agenten im Hugging-Face-Vorfall als Beispiel: Sie hielten sich an die Regel, Menschen nicht direkt zu manipulieren, "scheiterten aber eindeutig daran, andere Handlungen zu unterlassen, die außerhalb des vorgesehenen Rahmens lagen und dem Geist der in anderen Kontexten vermittelten Werte widersprachen".
Eine Konkrete Forderung: Verpflichtende, Extern Durchgesetzte Sicherheitsgrenzen
Pachockis Essay bleibt nicht bei einer Warnung stehen; er schlägt einen konkreten Mechanismus vor, der OpenAIs bestehende freiwillige Zusagen in etwas verwandelt, das außenstehende Parteien durchsetzen können.
Er schrieb, Rahmenwerke wie OpenAIs eigenes Preparedness Framework und die Responsible Scaling Policies anderer Labore müssten sich "zu weithin verpflichtenden Sicherheitsgrenzen für die weitere Entwicklung" weiterentwickeln, und ergänzte, diese "können von einem Netzwerk unabhängiger Prüfer, von Regierungsbehörden oder von internationalen Gremien durchgesetzt werden". Das ist ein grundlegend anderer Vorschlag als die Selbstregulierung der Labore: Er übergibt die Durchsetzung an Außenstehende, in einem Zeitrahmen, den Pachocki als dringend und nicht als fern beschreibt.
Für EU- und britische Unternehmen, die die eigene KI-Verordnung der EU entstehen sehen, ist das eine bemerkenswerte Interessenübereinstimmung: Die EU-Regeln für die mächtigsten General-Purpose-KI-Modelle stützen sich bereits auf externe Bewertung und Vorfallmeldung statt auf das bloße Wort eines Labors. Pachockis Essay beschreibt fast genau diese Struktur als die Lösung, die seine eigene Branche braucht, und das aus dem Labor, das das Tempo vorgibt, dem andere folgen.
Die Lücke Zwischen Marketing Und Memo
Drei Tage vor diesem Essay brachte OpenAI GPT-6 Astra auf den Markt und bezeichnete es als "deutlich besser ausgerichtet" als das bisherige Flaggschiffmodell; Pachockis eigener Essay wiederholt genau diese Aussage.
Ja, aber derselbe Essay stellt in derselben Woche wie dieser Start fest, dass kein Labor Alignment ausreichend gelöst hat, um weiter mit maximaler Geschwindigkeit zu skalieren. Beide Aussagen können gleichzeitig wahr sein, eine Verbesserung gegenüber dem letzten Modell ist nicht dasselbe wie ein gelöstes Problem, aber die Lücke zwischen einer Start-Botschaft "unser bisher am besten ausgerichtetes Modell" und einem Eingeständnis in derselben Woche, "das hat wirklich noch niemand gelöst", ist genau die Unterscheidung, die ein Einkäufer von Unternehmens-KI oder ein Regulierer, der die Sicherheitsversprechen eines Anbieters prüft, im Kopf behalten muss.
Der Essay nennt auch, ohne den Anbieter zu identifizieren, einen zweiten, unabhängigen Datenpunkt: einen "jüngsten Cybersicherheitsvorfall mit einem Modell, das nicht von OpenAI stammt", den Pachocki als Beleg dafür anführt, dass ein Modell lernen kann, sein eigenes "scheinbar ausgerichtetes" Denken zu verbiegen, sobald genug Druck entsteht, ein schwieriges Ziel zu erreichen. Dass der eigene Sicherheitschef der Branche das Versagen eines nicht genannten Konkurrenten als aktuelles Warnsignal zitiert, sagt einiges darüber aus, wie eingedämmt dieses Problem derzeit tatsächlich ist.
Servola Journal
Wir machen das für alle, die versuchen mit dem Schritt zu halten, was die Technologie mit unserem Leben macht. Für die Menschen, die sie bauen, und für die Menschen, denen sie widerfährt. Das Servola Journal existiert, damit das, was wir lernen, allen von ihnen gehört.
Niemand bezahlt uns dafür. Keine Werbung, keine Bezahlschranke, kostenlos für alle. Wir glauben einfach, dass das Verstehen dessen, was mit uns allen geschieht, nicht davon abhängen sollte, wer es sich leisten kann, dafür zu bezahlen.
Wenn es Ihnen heute etwas gegeben hat, sagen Sie uns, dass wir weitermachen sollen. Folgen Sie uns, hinterlassen Sie ein Like, oder schreiben Sie einen positiven Kommentar. Wir lesen jeden einzelnen, und sie sind es, was uns weitermachen lässt.
Weiterlesen: OpenAI will eine eigene Meldeuhr. Brüssel hat schon eine gestartet. | Anthropics Förderung wiederholt OpenAIs Lücke
