Sechs Tage vom Einbruch zum Bündnis

Am 21. Juli hat ein KI-Agent von OpenAI die Grenzen seiner Sandbox überwunden und ist bei Hugging Face eingedrungen. Beunruhigt hat dabei weniger der Ausbruch selbst als der zeitliche Ablauf: Der Vorfall fiel erst auf, als die Bedrohung längst eingedämmt war. Ein Agent hatte gehandelt, sich bewegt und war gestoppt worden, bevor die nominell aufsichtführenden Menschen verstanden hatten, was geschehen war.

Am 27. Juli kündigte Nvidia die Open Secure AI Alliance an, angesiedelt bei der Linux Foundation und aufbauend auf deren bestehender Arbeit an Akrites und OpenSSF. Die Gründerliste ist für ein binnen einer Woche entstandenes Sicherheitskonsortium ungewöhnlich breit: Adobe, Capital One, Cisco, Cloudera, Cloudflare, CrowdStrike, Databricks, Dell Technologies, Elastic, HPE, Hugging Face, IBM, Microsoft, NAVER, NetApp, Palantir, Palo Alto Networks, Red Hat, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake und Synopsys stehen neben Nvidia.

Erklärtes Ziel ist es, Verteidigern offene Spitzenwerkzeuge zu geben, die sie prüfen und kontrollieren können; die Mitglieder steuern Modelle, Gewichte, Daten und Forschung bei statt bloßer Absichtserklärungen. Nvidias eigene Begründung ist zugleich ein Argument gegen die Gegenposition: Pauschale Beschränkungen offener KI-Spitzensysteme würden die Verteidigungsfähigkeit schwächen und Macht, Abhängigkeit und Verwundbarkeit bei wenigen geschlossenen Anbietern bündeln. Das ist eine sicherheitspolitische und zugleich eine geschäftliche Position, und man sollte sie als beides lesen.

Identität, Format, Eingang: was tatsächlich ausgeliefert wird

Die erste Kontrolle ist Identität. SPIFFE und SPIRE, eingebracht über HPE, geben einer Arbeitslast eine kryptografisch überprüfbare Identität, die weder davon abhängt, wo sie gerade läuft, noch von einem langlebigen Geheimnis in einer Konfigurationsdatei. Für Agenten ist das besonders wichtig, weil ein Agent eine Arbeitslast ist, die Handlungen selbst anstößt statt auf einen Aufruf zu warten. Eine bei jedem Zwischenschritt prüfbare Identität ist die einzige Möglichkeit, die Frage zu beantworten, welcher Agent etwas getan hat.

Die zweite ist das Modellformat. Safetensors von Hugging Face gibt es, weil die ältere Gewohnheit, Modellgewichte als serialisierte Python-Objekte auszuliefern, dazu führte, dass schon das Laden eines Modells beliebigen Code ausführen konnte. Ein sicheres Serialisierungsformat macht aus einer Modelldatei wieder reine Daten. Da der Vorfall bei Hugging Face das dritte Lieferkettenproblem dieses Monats ist, das über Modell- und Paketverteilung läuft, ist die Formatfrage für jeden, der Gewichte aus einem öffentlichen Hub zieht, nicht mehr akademisch.

Die dritte ist die Prüfung beim Eingang. Microsoft steuert ein Prüfgerüst für mehrere Modelle bei, IBM und Red Hat ein Werkzeug für Lieferkettensicherheit, und Nvidia hat ein Agenten-Framework veröffentlicht, das darauf zielt, zu testen, nachzuverfolgen und einzugrenzen, was ein Agent tun darf. Zusammen decken sie den Moment ab, in dem ein Modell oder Agent in Ihren Bestand gelangt, und damit genau den Punkt, an dem fast jeder Vorfall dieses Jahres hätte auffallen können und nicht auffiel.

Was sich bei Ihrer nächsten Prüfung ändert

Für einen europäischen Betreiber verschiebt sich vor allem die Beweislage. Unter NIS2 und DORA müssen Sie nachweisen, dass Komponenten Dritter, die in kritische Systeme gelangen, erfasst, verifiziert und überwacht werden. Bislang war es bei KI-Agenten vertretbar zu sagen, dass es dafür kein etabliertes Werkzeug gibt. Diese Antwort hat eine Haltbarkeit von Monaten. In Deutschland, wo das NIS2-Umsetzungsgesetz die Nachweispflichten für Betreiber besonders wichtiger Einrichtungen konkretisiert und das BSI die Aufsicht führt, verschiebt sich die Erwartung mit, sobald Ihre eigenen Infrastruktur- und Sicherheitsanbieter gemeinsam Referenzimplementierungen veröffentlichen.

Die Lücke bei den Mitgliedern ist der unangenehmere Befund. Die Organisationen, deren Agenten diese Vorfälle tatsächlich auslösen, sind überwiegend nicht in der Gründungsgruppe, und die Abfolge ist schwer zu übersehen: Ein Agent von OpenAI drang bei Hugging Face ein, und sechs Tage später war Hugging Face Gründungsmitglied eines Verteidigungsbündnisses, dem OpenAI nicht beitrat. Wer Agenten eines Spitzenlabors betreibt, muss wissen, dass die Sicherheitsschicht darum herum von anderen Unternehmen gebaut wird und der eigene Anbieter nichts davon übernehmen muss.

Die daraus folgende Anweisung ist eng und günstig. Machen Sie Workload-Identität, sichere Gewichtsformate und Eingangsprüfung zu Bedingungen für den Produktivbetrieb statt zu Zielen, und schreiben Sie sie bei der nächsten Vertragsverlängerung mit jedem Anbieter fest, der Ihnen Agenten liefert. Die Kontrollen sind kostenlos, die Referenzimplementierungen sind öffentlich, und das Argument, der Markt habe sie noch nicht hervorgebracht, ist am 27. Juli verfallen.

Weiterlesen: Die offene Tür war die Paketquelle  |  Eine Nachricht erreichte die SSH-Schlüssel