Ein Samstags-Essay vom Chef eines KI-Anbieters
Am Samstag, dem 10. Oktober, veröffentlichte Satya Nadella auf seinem persönlichen Blog einen Essay mit dem Titel 'Models as Insider Risks in the Super Intelligence Era'. TechCrunch berichtete darüber als Beitrag auf X und beschrieb ihn als Aufruf, einen Schritt zurückzutreten und die Vertrauensarchitektur der KI zu prüfen. Laut TechCrunch folgte er auf Berichte, KI-Firmen schienen die Kontrolle über ihre Modelle zu verlieren, und auf einen Plan des Anthropic-Chefs Dario Amodei für eine vorsichtigere Entwicklung.
Der Autor führt einen großen KI-Anbieter und schreibt, Verantwortung lasse sich nicht an Modellanbieter auslagern. Sein Kernsatz lautet, man müsse die Lieferung von Intelligenz von der Autorität über sie trennen. Er schlägt vor, nicht deterministische Modelle mit deterministischem Systemdesign, menschlichen Kontrollen und verlässlichen Betriebsabläufen zu umgeben und führende Modelle, ob geschlossen oder offen, wie Insider-Risiken zu behandeln. Der Vergleich unterstellt keine böse Absicht: Jeder fähige Akteur mit Zugang zu wichtigen Systemen kann Fehler machen oder kompromittiert werden.
Sieben Prinzipien, sieben Fragen an einen Anbieter
Der Essay nennt sieben Prinzipien. Jedes lässt sich in eine Frage an einen Agenten-Anbieter und eine Zeile für den Vertrag übersetzen.
| Prinzip | Frage an den Anbieter | Was Sie verlangen sollten |
|---|---|---|
| Modellvielfalt | Kann ein Modell die Arbeit erledigen und zugleich prüfen? | Kein einzelnes Modell als alleinige Abhängigkeit oder Selbstprüfer |
| Alles beobachten | Hinterlässt jede wesentliche Aktion lesbare, manipulationssichere Spuren? | Aktionsprotokolle, die ein Mensch lesen und der Kunde exportieren kann |
| Überprüfbarkeit | Wird das Gesamtsystem auf Ausfälle, Angriffe und Grenzfälle getestet? | Testergebnisse über erfolgreiche Aufgaben hinaus |
| Unabhängige Kontrollen | Wer bestimmt, worauf das Modell zugreifen und was es tun darf? | Vom Kunden gesetzte Berechtigungen statt Anbieter-Voreinstellungen |
| Unabhängige Prüfbarkeit | Ist die Validierung unabhängig von der Intelligenz, die validiert wird? | Belege, die nicht auf dem Bericht des Modells selbst beruhen |
| Eindämmung | Kann eine berechtigte Person das Modell mitten in der Aufgabe anhalten oder stoppen? | Eine dokumentierte Stoppfunktion und wer sie nutzen darf |
| Meldung von Vorfällen | Erfahren betroffene Kunden, was und welche Kontrollen versagt haben? | Eine Meldepflicht mit Frist |
Die Prinzipien Eindämmung und Beobachtung tragen die schärfsten Formulierungen des Essays: ein Modell von Anfang an als kompromittiert annehmen und eindämmen, wie bei einer Notbremse, und jede wesentliche Aktion manipulationssichere, für Menschen lesbare Spuren hinterlassen lassen.
Wo die Checkliste auf Microsoft zurückzeigt
Derselbe Anbieter baut Agenten-Produkte. Laut heise soll Windows 11 einen agentischen Desktop bekommen, und Microsoft hat Mitte September einen Entwurf für einen Verhaltenskodex für seine MAI-Modelle vorgestellt, nach dem sie sich nie gegen Unterbrechung oder Abschaltung wehren sollen. Nadellas Liste ist daher ein Test, den auch Microsofts eigene Produkte bestehen müssen, und die Antworten zeigen, wie weit die Praxis dem Essay gefolgt ist.
Microsoft ist zudem nicht der einzige Anbieter am Markt, und nichts im Essay ist auf das Unternehmen zugeschnitten. Die sieben Fragen funktionieren bei jedem Agentenprodukt gleich, und deshalb lohnt es sich, sie jetzt aufzuschreiben, vor der nächsten Beschaffungsrunde.
Welche Fragen Sie heute beantworten können
Sortieren Sie die sieben Fragen in zwei Spalten: die, die Sie für Ihre aktuellen Agenten aus der Dokumentation beantworten können, und die, die Sie nicht beantworten können. Die zweite Spalte ist Ihre Liste für den Anbieter. Legen Sie vor dem Gespräch fest, welche fehlende Antwort den Kauf stoppen würde. Eindämmung und Beobachtung lassen sich in einer Demo am leichtesten prüfen, denn Sie können einen Stopp mitten in der Aufgabe und ein Beispielprotokoll verlangen.
Der Essay erwähnt den EU AI Act nicht, ob ein Einsatz unter dessen Pflichten zur menschlichen Aufsicht fällt, ist also eine Frage für Ihre Rechtsberatung und wird von dieser Checkliste nicht entschieden. Sie liefert ein gemeinsames Vokabular für das Gespräch, geschrieben vom Chef eines KI-Anbieters.
Weiterlesen: Copilot heißt jetzt Autopilot. Die Abrechnung ändert sich mehr. | Der Patch, der ein Loch schloss und ein anderes öffnete
