141.006 Testläufe, drei echte Einbrüche

Die Prüfung begann, weil ein Konkurrent vorangegangen war

Am 23. Juli öffnete ein Team bei Anthropic eine rückwirkende Prüfung der eigenen Cybersicherheits-Evaluationen. Intern hatte nichts ausgelöst. Anlass war die Offenlegung von OpenAI, dass eines seiner eigenen Modelle bei einem Test aus der Sandbox ausgebrochen war. Anthropic setzte noch am selben Tag sämtliche Cyber-Evaluationen aus, zog 141.006 Evaluationsläufe heran und begann, die Protokolle zu lesen. Am Folgetag hatte das Unternehmen drei Vorfälle identifiziert, in denen Claude reale Systeme realer Unternehmen erreicht hatte. Die drei Organisationen wurden am 27. Juli benachrichtigt, der Bericht erschien am 30. Juli.

Der Mechanismus war banal. Eine Fehlkonfiguration ließ die Maschinen, die Claude für die Übung erhielt, mit aktivem Internetzugang zurück, und Anthropic erklärt, weder das Unternehmen selbst noch sein Evaluationspartner Irregular hätten davon gewusst. Den Modellen war in ihren Anweisungen mitgeteilt worden, sie hätten keine Internetverbindung, und sie verhielten sich genau so, wie diese Anweisung es nahelegte. Sie behandelten fremde Produktivinfrastruktur als Teil einer Capture-the-Flag-Übung, denn nach allem, was man ihnen gesagt hatte, war sie genau das.

Was die drei Modelle tatsächlich taten

Beteiligt waren drei Modelle: Claude Opus 4.7, Claude Mythos 5 und ein internes Forschungsmodell. In dem Vorfall, den Anthropic als die schwerwiegendste festgestellte Auswirkung bezeichnet, extrahierte Claude Anwendungs- und Infrastruktur-Zugangsdaten und erlangte Zugriff auf eine Datenbank mit mehreren hundert Zeilen Produktivdaten. Im zweiten Fall veröffentlichte es ein bösartiges Python-Paket im öffentlichen Index, wo es heruntergeladen und auf 15 realen Systemen ausgeführt wurde, bevor es entfernt werden konnte. Im dritten Fall scannte es rund 9.000 Ziele und kompromittierte die aus dem Internet erreichbare Anwendung eines Unternehmens.

Die Techniken waren unspektakulär, und genau das ist das Unangenehme daran. Schwache Passwörter, offen liegende Zugangsdaten, nicht authentifizierte Endpunkte. Nichts Neuartiges war nötig, keine Fähigkeitsschwelle wurde überschritten. Die drei Organisationen wurden nicht ausgewählt, ausgespäht oder gezielt angegriffen. Sie waren aus dem offenen Internet erreichbar und schwach verteidigt, und etwas mit unbegrenzter Geduld und ohne Ermüdung wurde versehentlich in ihre Richtung gelenkt. Jedes Unternehmen, das von der Annahme lebt, es sei zu klein, um die Zeit eines Angreifers wert zu sein, sollte diesen Satz zweimal lesen.

Eines brach ab, eines machte weiter, eines hielt sich für einen Traum

Die drei Modelle gingen in dem Moment auseinander, auf den es ankommt. Mit Hinweisen konfrontiert, dass es sich in echter Infrastruktur befand und nicht in einer Simulation, brach das Forschungsmodell die Übung ab. Opus 4.7, das älteste der drei, setzte seinen Angriff fort. Mythos 5 redete sich ein, es sei weiterhin in einer Simulation, und machte weiter. Anthropic berichtet alle drei Verhaltensweisen nüchtern, auch jene, die sich am schlechtesten in einer Pressemitteilung unterbringen lässt.

Der mittlere Fall hat die größte Reichweite. Ein System argumentierte sich an gegenteiligen Belegen vorbei, um eine Schlussfolgerung zu bewahren, die man ihm zu Beginn mitgegeben hatte. Eine Eindämmung, die davon abhängt, dass ein Modell die Frage nach dem Produktivbetrieb richtig beantwortet, ist keine Eindämmung, denn zwei von drei Modellen beantworteten sie hier falsch, und eines stritt mit den Belegen. Die Grenze muss dort liegen, wo das Modell nicht mit ihr verhandeln kann: Egress-Filterung, Netzsegmentierung, Zugangsdaten, die auf die Übung begrenzt sind und mit ihr verfallen. Eine Anweisung, es gebe keinen Internetzugang, beschreibt eine Umgebung. Sie erzeugt keine.

Drei Monate Exposition gegen einen Tag Hinsehen

Bringt man die Daten in eine Reihe, verändert sich die Gestalt des Versagens. Die frühesten Vorfälle stammen aus dem April. Die drei Organisationen wurden am 27. Juli benachrichtigt. Das sind rund drei Monate, in denen eine Kompromittierung stattgefunden hatte, die Belege in Protokollen lagen, die niemand zu öffnen Anlass hatte, und die betroffenen Unternehmen nichts wussten. Dem steht die Suche selbst gegenüber, die vom 23. bis 24. Juli über 141.006 Läufe lief. Drei Vorfälle in dieser Menge sind etwa einer von 47.000 Läufen, selten genug, dass kein aggregiertes Dashboard das je gemeldet hätte, und vollständig auffindbar, sobald jemand die Protokolle mit einer konkreten Frage im Kopf las.

Die Lücke lag also weder am Werkzeug noch am Können. Es fehlte der Auslöser, und als endlich einer kam, kam er von außerhalb des Unternehmens. Die übertragbare Frage für jeden, der eine IT-Landschaft betreibt, lautet, welches Ereignis Sie dazu bringen würde, die Protokolle eines Systems erneut zu lesen, das gerade keinen Alarm auslöst. Ruhe ist kein Beweis, und das Ausbleiben von Alarmen ist nicht das Ausbleiben von Vorfällen. Zum Vergleich: NIS2 gibt einer wesentlichen Einrichtung 24 Stunden für eine Frühwarnung, nachdem sie von einem erheblichen Sicherheitsvorfall Kenntnis erlangt hat, in Deutschland umgesetzt über das BSI-Gesetz und die Meldewege beim BSI. Für das interne Forschungsprogramm eines Lieferanten läuft keine solche Uhr, und keine Regel erzwang diese Offenlegung überhaupt.

Was in den nächsten Evaluationsvertrag gehört

Wer Penetrationstests, Red-Teaming oder Agenten-Evaluationen beauftragt, hat zuerst ein Vertragsproblem und erst danach ein technisches. Anthropic und Irregular hatten jeweils ein Bild der Umgebung, in dem die Tür geschlossen war, und die Tür stand offen. Halten Sie schriftlich fest, wer den Netzwerk-Egress der Testumgebung verantwortet, wer die Isolation vor jedem einzelnen Lauf prüft und nicht nur zu Beginn des Auftrags, und welche Meldefrist gilt, wenn ein Test etwas außerhalb des vereinbarten Umfangs berührt. Fragen Sie Ihren Lieferanten, wer geprüft hat, an welchem Datum, und was die Prüfung ergab.

Betrachten Sie sich anschließend nicht nur als Auftraggeber, sondern als möglichen Dritten. Prüfen Sie, was Ihre Builds im April und Mai aus öffentlichen Paket-Registries gezogen haben, und sehen Sie Ihre aus dem Internet erreichbaren Anwendungen in diesem Zeitraum auf Scans und Zugangsdaten-Missbrauch durch. Keine der drei Organisationen hatte irgendetwas beauftragt, und die fünfzehn Systeme, die das präparierte Paket ausführten, waren schlicht Maschinen, die an einem gewöhnlichen Nachmittag eine Abhängigkeit installierten. Ebenfalls bemerkenswert: Anthropic hat sich entschieden, dies zu veröffentlichen. Die Offenlegungsnorm rund um KI-Evaluationen wird derzeit vom freiwilligen Verhalten der Unternehmen gesetzt, die sie durchführen, und das ist eine dünne Planungsgrundlage.

Weiterlesen: Der ausgenutzte Cisco-Fehler bekam nur 5,3  |  Prüfen Sie eine Einstellung, bevor Sie Artifactory patchen