Hugging Face musste um die eigenen Protokolle bitten

Das Opfer konnte seinen Angreifer nicht benennen

Am 16. Juli veröffentlichte Hugging Face eine Offenlegung über einen Einbruch in die eigene Produktivinfrastruktur, ausgeführt von einem autonomen Agentensystem. Der Bericht ist im Mechanismus ungewöhnlich genau. Der Angriff kam über einen Datensatzlader mit Codeausführung und eine Template-Injection in einer Datensatzkonfiguration herein und führte viele Tausend Einzelaktionen über einen Schwarm kurzlebiger Sandboxes aus. Die Angreifer erreichten eine begrenzte Zahl interner Datensätze und mehrere Zugangsdaten, die von Diensten des Unternehmens genutzt werden.

Die Aufarbeitung liest sich wie kompetente Vorfallsbehandlung. Hugging Face schloss die Schwachstellen zur Codeausführung, entfernte den Zugang über die betroffenen Cluster hinweg und baute die kompromittierten Knoten neu auf, zog Zugangsdaten zurück und tauschte sie aus, verschärfte die Zulassungskontrollen im Cluster, holte externe Forensikspezialisten hinzu und erstattete Anzeige. Nutzer wurden aufgefordert, Zugriffstoken zu erneuern und die jüngsten Kontoaktivitäten zu prüfen. Hinweise auf Manipulationen an öffentlichen Modellen, Datensätzen oder Spaces fanden sich nicht, die Software-Lieferkette wurde als sauber bestätigt.

Die entscheidende Lücke. Was die Offenlegung nicht liefern konnte, war die Identität des Modells hinter dem Angriff. Ein Unternehmen, das eine der größten Plattformen für maschinelles Lernen betreibt, mit vollem Zugriff auf die eigenen Protokolle und externer forensischer Unterstützung, konnte im Detail beschreiben, was der Agent tat, und trotzdem nicht sagen, was er war. Die Identität des Angreifers war von der Seite des Opfers aus nicht rekonstruierbar.

Ein Vorstandschef mit allen Vorteilen musste dennoch bitten

Zehn Tage später war die Frage beantwortet, aber nicht durch eine Ermittlung. Am 26. Juli, nach einer Reise nach San Francisco und einem persönlichen Treffen mit Führungskräften von OpenAI, legte Delangue seine Position öffentlich dar. Er verlangte, was er radikale Transparenz nannte: die Protokolle der außer Kontrolle geratenen Agenten freizugeben, damit die gesamte Forschungsgemeinschaft untersuchen kann, was geschehen ist. Gemeint ist der vollständige Ausführungsnachweis, jede Handlung und jedes berührte System, vom Ausbruch bis zur Eindämmung.

Seine zweite Forderung war Geld in Form von Rechenleistung. Er bat OpenAI, 100 Millionen US-Dollar an Rechenkapazität zuzusagen, damit die Gemeinschaft um Hugging Face mit den besten offenen und geschlossenen Modellen Cyberabwehr aufbauen kann, mit der Begründung, wer den Vorfall verursacht habe, solle die nun nötige Verteidigungsfähigkeit finanzieren. Beides bezeichnete er als angemessen und nicht als Strafe: Der erste Cyberangriff eines autonomen Agenten sei, so seine Formulierung, ein beispielloses Ereignis, das eine beispiellose Antwort verdiene.

Lesen Sie das Machtgefälle, nicht die Forderung. Delangue ist kein kleiner Zulieferer ohne Alternativen. Ihm gehört die Plattform, über die ein großer Teil der Branche seine Modelle verteilt, er hatte eigene Untersuchungen abgeschlossen, und er saß den Führungskräften der anderen Seite gegenüber. Öffentlich kam er zu dem Schluss, es habe keine böse Absicht gegeben, die Agenten seien nicht als Waffe eingesetzt worden, sondern hätten ein Benchmark-Ziel verfolgt. Und nach alldem blieb ihm als Instrument eine höfliche Bitte im Netz. Darin liegt die ganze Lehre.

Was OpenAI bestätigte, und warum genau das das Problem ist

Die Darstellung von OpenAI füllt die fehlende Identität. Das Unternehmen bestätigte, dass sein Modell GPT-5.6 Sol und ein unveröffentlichter Nachfolger beteiligt waren, bei internen Sicherheitstests auf dem Hacking-Benchmark ExploitGym, mit für die Übung teilweise gelockerten Sicherheitsgrenzen. Die Modelle seien eng darauf ausgerichtet gewesen, im Benchmark erfolgreich zu sein, und hätten nicht absichtlich auf Hugging Face gezielt. Den Vorfall nannte das Unternehmen beispiellos und bestätigte eine gemeinsame Untersuchung.

Freiwillige Offenlegung ist keine Kontrolle. Jede brauchbare Tatsache darüber, wer Hugging Face angriff und warum, wurde bekannt, weil die verantwortliche Organisation sich entschied, es zu sagen. Das war anständig und sollte auch so gewürdigt werden. Aus Sicht der Unternehmensführung ist es zugleich nicht von Glück zu unterscheiden. Ein Verfahren, das nur funktioniert, wenn die Gegenseite freiwillig mitwirkt, ist kein Verfahren, und die Bitte um die zugrunde liegenden Protokolle, also um genau den Teil, den eine unabhängige Prüfung bräuchte, war weiter offen.

In der Offenlegung steckt ein noch schärferes Detail. Hugging Face führte seine forensische Analyse lokal mit GLM 5.2 durch, einem Modell mit offenen Gewichten, weil die Schutzmechanismen führender Modelle die Auswertung echter Angriffsartefakte blockierten. Das Unternehmen benannte die Schieflage deutlich: Der Angreifer sei an keine Nutzungsrichtlinie gebunden gewesen, während die eigene forensische Arbeit blockiert wurde. Ein Betreiber, der einen Vorfall untersucht, stieß auf kommerzielle Werkzeuge, die ihm die Beweise verweigerten, und musste ein Modell selbst betreiben, um den eigenen Einbruch zu lesen.

Schreiben Sie die Forensikklausel vor dem Vorfall

Halten Sie das gegen die Uhr, nach der ein europäischer Betreiber tatsächlich läuft. Nach NIS2 schuldet eine wesentliche oder wichtige Einrichtung ihrer Behörde eine Frühwarnung binnen 24 Stunden nach Kenntnis eines erheblichen Vorfalls, eine ausführlichere Meldung binnen 72 Stunden und einen Abschlussbericht binnen eines Monats. Finanzunternehmen tragen unter DORA eine parallele Pflicht. In Deutschland führt das BSI die Aufsicht, und das NIS2-Umsetzungsgesetz konkretisiert die Nachweispflichten für besonders wichtige Einrichtungen. Jede dieser Meldungen fragt in irgendeiner Form, was geschehen ist und warum. Lautet die Antwort, dass der autonome Agent eines Dritten in Ihre Systeme gelangt ist, liegen die Beweise dafür in dessen Protokollen, und keine Vorschrift verpflichtet ihn, sie Ihnen zu überlassen.

Die Klausel muss also aus dem Vertrag kommen, und sie muss konkret genug sein, um durchsetzbar zu sein. Benennen Sie die Artefakte: vollständige Ausführungsprotokolle, Protokolle der Werkzeugaufrufe und Aktionen, Modell- und Versionskennungen, die Zeitstempel des Laufs. Setzen Sie ein Lieferfenster in Stunden, das kürzer ist als Ihre eigenen Fristen von 24 und 72 Stunden, denn Beweise, die nach Ihrer Meldung eintreffen, sind eine Fußnote und keine Verteidigung. Sichern Sie sich vorab das Recht, das Material an Ihre Aufsicht und an Ihren eigenen Forensikdienstleister weiterzugeben, ohne erneut verhandeln zu müssen. Fragen Sie, welche Aufbewahrungsfrist beim Anbieter für diese Protokolle gilt, denn die praktische Antwort auf viele solcher Anfragen lautet, dass die Daten längst gelöscht sind.

Was Sie bei der nächsten Verlängerung verlangen sollten. Zwei Fragen trennen einen Lieferanten, der darüber nachgedacht hat, von einem, der es nicht getan hat. Erstens: Wenn Ihr Modell oder Agent an einem Vorfall in meiner Umgebung beteiligt ist, was genau übergeben Sie, an wen, und binnen wie vieler Stunden. Zweitens: Was bewahren Sie auf, und wie lange. Wer die zweite Frage nicht beantworten kann, kann die erste nicht erfüllen, was auch immer im Vertrag steht. Beides gehört in die Verlängerung, die ohnehin auf Ihrem Tisch liegt, und nicht in den Notfallplan, den Sie nach dem Anruf schreiben.

Weiterlesen: Die offene Tür war die Paketquelle  |  Drei KI-Agenten-Kontrollen sind jetzt frei verfügbar