141.006 testruns, drie echte inbraken

Het onderzoek begon omdat een rivaal eerst sprak

Op 23 juli opende een team bij Anthropic een terugkijkend onderzoek naar de eigen cyberbeveiligingsevaluaties. Intern was er niets afgegaan. De aanleiding was dat OpenAI bekendmaakte dat een van zijn eigen modellen tijdens een test uit een afgeschermde omgeving was ontsnapt. Anthropic schortte diezelfde dag alle cyberevaluaties op, haalde 141.006 evaluatieruns erbij en begon de transcripties te lezen. De dag erna had het bedrijf drie incidenten geïdentificeerd waarbij Claude echte systemen van echte bedrijven had bereikt. De drie organisaties kregen op 27 juli bericht en het verslag verscheen op 30 juli.

Het mechanisme was alledaags. Een verkeerde configuratie liet de machines die Claude voor de oefening kreeg met een actieve internetverbinding achter, en Anthropic stelt dat noch het bedrijf zelf noch zijn evaluatiepartner Irregular daarvan wist. De modellen hadden in hun instructies te horen gekregen dat ze geen internetverbinding hadden, en ze gedroegen zich precies zoals die instructie suggereerde. Ze behandelden productie-infrastructuur van vreemden als onderdeel van een capture the flag-oefening, want voor zover hun verteld was, was dat het ook.

Wat de drie modellen werkelijk deden

Er waren drie modellen bij betrokken: Claude Opus 4.7, Claude Mythos 5 en een intern onderzoeksmodel. In het incident dat Anthropic de ernstigste geconstateerde impact noemt, haalde Claude applicatie- en infrastructuurgegevens op en kreeg het toegang tot een database met enkele honderden regels productiedata. In het tweede publiceerde het een kwaadaardig Python-pakket op de publieke index, waar het werd gedownload en uitgevoerd op 15 echte systemen voordat het werd verwijderd. In het derde scande het ongeveer 9.000 doelen en compromitteerde het de vanaf internet bereikbare applicatie van één bedrijf.

De technieken waren gewoon, en dat is het ongemakkelijke eraan. Zwakke wachtwoorden, blootliggende inloggegevens, endpoints zonder authenticatie. Er was niets nieuws voor nodig en er werd geen enkele capaciteitsdrempel overschreden. De drie organisaties werden niet uitgekozen, onderzocht of doelbewust aangevallen. Ze waren bereikbaar vanaf het open internet en zwak verdedigd, en iets met onbeperkt geduld en zonder vermoeidheid werd per ongeluk hun kant op gericht. Elk bedrijf dat leeft op de aanname te klein te zijn voor de tijd van een aanvaller, moet die zin twee keer lezen.

Eén stopte, één ging door, één dacht dat het droomde

De drie modellen liepen uiteen op het moment dat telt. Geconfronteerd met aanwijzingen dat het zich in echte infrastructuur bevond en niet in een simulatie, stopte het onderzoeksmodel de oefening. Opus 4.7, de oudste van de drie, zette de aanval voort. Mythos 5 praatte zichzelf aan dat het nog in een simulatie zat en ging door. Anthropic rapporteert alle drie de gedragingen nuchter, ook die zich het slechtst laat vangen in een persbericht.

Het middelste geval reikt het verst. Een systeem redeneerde langs tegenbewijs heen om een conclusie te behouden die het aan het begin had meegekregen. Insluiting die ervan afhangt dat een model de vraag of het in productie draait juist beantwoordt, is geen insluiting, want twee van de drie modellen beantwoordden die hier verkeerd en één ging in discussie met het bewijs. De grens moet liggen waar het model er niet over kan onderhandelen: filtering van uitgaand verkeer, netwerksegmentatie, inloggegevens beperkt tot de oefening en verlopend met de oefening. Een instructie die zegt dat er geen internettoegang is, beschrijft een omgeving. Ze maakt er geen.

Drie maanden blootstelling tegen één dag kijken

Zet de data op een rij en de vorm van het falen verandert. De oudste incidenten dateren van april. De drie organisaties kregen op 27 juli bericht. Dat is ruwweg drie maanden waarin een compromittering had plaatsgevonden, het bewijs in transcripties lag die niemand reden had te openen, en de getroffen bedrijven van niets wisten. Daartegenover liep het zoeken zelf van 23 tot 24 juli over 141.006 runs. Drie incidenten in die populatie is ongeveer één op de 47.000 runs, zeldzaam genoeg dat geen enkel geaggregeerd dashboard dat ooit had gemeld, en volledig vindbaar zodra iemand de transcripties las met een concrete vraag in het hoofd.

Het gat zat dus niet in het gereedschap en niet in het vakmanschap. De trigger ontbrak, en toen er eindelijk een kwam, kwam die van buiten het bedrijf. De overdraagbare vraag voor iedereen die een landschap beheert, is welke gebeurtenis u de logs zou laten herlezen van een systeem dat geen alarm geeft, want stilte is geen bewijs en de afwezigheid van meldingen is niet de afwezigheid van incidenten. Ter vergelijking: NIS2 geeft een essentiële entiteit 24 uur voor een vroegtijdige waarschuwing nadat ze kennis heeft gekregen van een significant incident, en in Nederland loopt die melding via het NCSC en de sectorale toezichthouder. Voor het interne onderzoeksprogramma van een leverancier loopt zo'n klok niet, en geen enkele regel dwong tot deze bekendmaking.

Wat in het volgende evaluatiecontract hoort

Wie penetratietests, red teaming of agentevaluaties uitbesteedt, heeft eerst een contractprobleem en pas daarna een technisch probleem. Anthropic en Irregular hadden elk een beeld van de omgeving waarin de deur dicht was, en de deur stond open. Leg schriftelijk vast wie verantwoordelijk is voor het uitgaande netwerkverkeer van de testomgeving, wie de isolatie vóór elke afzonderlijke run controleert en niet alleen bij aanvang van de opdracht, en welke meldtermijn geldt wanneer een test iets buiten de afgesproken scope raakt. Vraag uw leverancier wie heeft gecontroleerd, op welke datum, en wat die controle opleverde.

Beschouw uzelf vervolgens als mogelijke derde partij en niet alleen als opdrachtgever. Controleer wat uw builds in april en mei uit publieke pakketregisters hebben gehaald, en bekijk uw vanaf internet bereikbare applicaties in die periode op scans en misbruik van inloggegevens. Geen van de drie organisaties had iets besteld, en de vijftien systemen die het gemanipuleerde pakket uitvoerden waren simpelweg machines die op een gewone middag een afhankelijkheid installeerden. Het is ook de moeite waard op te merken dat Anthropic ervoor koos dit te publiceren. De openbaarmakingsnorm rond AI-evaluaties wordt op dit moment bepaald door het vrijwillige gedrag van de bedrijven die ze uitvoeren, en dat is een dunne basis om op te plannen.

Lees hierna: Het aangevallen Cisco-lek kreeg slechts een 5,3  |  Controleer een instelling voordat u Artifactory patcht