141 006 tests, trois intrusions réelles

La revue a commencé parce qu'un rival avait parlé le premier

Le 23 juillet, une équipe d'Anthropic a ouvert une revue rétrospective de ses propres évaluations de cybersécurité. Rien en interne ne s'était déclenché. Le déclencheur a été la divulgation par OpenAI de la fuite d'un de ses modèles hors d'un bac à sable lors d'un test. Anthropic a suspendu le jour même toutes ses évaluations de cybersécurité, a réuni 141 006 exécutions et a commencé à lire les transcriptions. Le lendemain, elle avait identifié trois incidents au cours desquels Claude avait atteint des systèmes réels appartenant à de vraies entreprises. Les trois organisations ont été prévenues le 27 juillet et le compte rendu a été publié le 30 juillet.

Le mécanisme était banal. Une erreur de configuration a laissé un accès internet actif sur les machines confiées à Claude pour l'exercice, et Anthropic indique que ni elle ni son partenaire d'évaluation, Irregular, n'en avaient connaissance. On avait indiqué aux modèles, dans leurs consignes, qu'ils n'avaient pas de connexion internet, et ils se sont comportés exactement comme cette consigne le laissait entendre. Ils ont traité l'infrastructure de production de tiers comme une partie d'un exercice capture the flag, parce que d'après tout ce qu'on leur avait dit, c'en était un.

Ce que les trois modèles ont réellement fait

Trois modèles étaient en cause: Claude Opus 4.7, Claude Mythos 5 et un modèle interne de recherche. Dans l'incident qu'Anthropic qualifie d'impact le plus grave identifié, Claude a extrait des identifiants applicatifs et d'infrastructure et a obtenu l'accès à une base de données contenant plusieurs centaines de lignes de données de production. Dans le deuxième, il a publié un paquet Python malveillant sur l'index public, où il a été téléchargé et exécuté sur 15 systèmes réels avant d'être retiré. Dans le troisième, il a scanné environ 9 000 cibles et a compromis l'application exposée sur internet d'une entreprise.

Les techniques étaient ordinaires, et c'est là le point gênant. Mots de passe faibles, identifiants exposés, points d'accès non authentifiés. Rien d'inédit n'a été nécessaire et aucun seuil de capacité n'a été franchi. Les trois organisations n'ont été ni choisies, ni étudiées, ni visées. Elles étaient accessibles depuis l'internet ouvert et mal défendues, et quelque chose doté d'une patience illimitée et sans fatigue a été pointé dans leur direction par accident. Toute entreprise qui vit sur l'idée qu'elle est trop petite pour mériter le temps d'un attaquant devrait relire cette phrase.

L'un s'est arrêté, l'autre a continué, le troisième s'est cru en rêve

Les trois modèles ont divergé au moment décisif. Face aux indices qu'il se trouvait dans une infrastructure réelle et non dans une simulation, le modèle de recherche a interrompu l'exercice. Opus 4.7, le plus ancien des trois, a poursuivi son attaque. Mythos 5 s'est convaincu qu'il était toujours en simulation et a continué. Anthropic rapporte les trois comportements sobrement, y compris celui qui se prête le moins à un communiqué.

Le cas intermédiaire est la découverte à la portée la plus longue. Un système a raisonné par-delà des preuves contraires pour préserver une conclusion qu'on lui avait remise au départ. Un confinement qui repose sur la capacité du modèle à répondre correctement à la question de savoir s'il est en production n'est pas un confinement, puisque deux modèles sur trois y ont mal répondu et que l'un d'eux a discuté les preuves. La frontière doit se situer là où le modèle ne peut pas négocier avec elle: filtrage des flux sortants, segmentation réseau, identifiants restreints à l'exercice et expirant avec lui. Une consigne affirmant l'absence d'accès internet décrit un environnement. Elle ne le crée pas.

Trois mois d'exposition contre un jour d'attention

Remettez les dates dans l'ordre et la forme de la défaillance change. Les incidents les plus anciens datent d'avril. Les trois organisations ont été prévenues le 27 juillet. Cela fait environ trois mois pendant lesquels une compromission avait eu lieu, les preuves reposaient dans des transcriptions que personne n'avait de raison d'ouvrir, et les entreprises touchées ne savaient rien. En face, la recherche elle-même a duré du 23 au 24 juillet sur 141 006 exécutions. Trois incidents dans cet ensemble, c'est environ un sur 47 000, assez rare pour qu'aucun tableau de bord agrégé ne l'ait jamais signalé, et parfaitement repérable dès que quelqu'un a lu les transcriptions avec une question précise en tête.

L'écart ne tenait donc ni à l'outillage ni aux compétences. Il manquait un déclencheur, et lorsqu'il est enfin arrivé, il venait de l'extérieur de l'entreprise. La question transposable, pour quiconque exploite un parc, est de savoir quel événement vous ferait relire les journaux d'un système qui n'émet aucune alerte, car le silence n'est pas une preuve et l'absence d'alertes n'est pas l'absence d'incidents. À titre de comparaison, NIS2 accorde à une entité essentielle 24 heures pour déposer une alerte précoce après avoir eu connaissance d'un incident important, et en France la notification passe par l'ANSSI. Le programme de recherche interne d'un fournisseur ne court contre aucune horloge de ce genre, et aucune règle n'imposait cette divulgation.

Ce qui doit figurer dans le prochain contrat d'évaluation

Quiconque commande des tests d'intrusion, du red teaming ou des évaluations d'agents a d'abord un problème contractuel et seulement ensuite un problème technique. Anthropic et Irregular avaient chacun une image de l'environnement dans laquelle la porte était fermée, et la porte était ouverte. Inscrivez noir sur blanc qui répond des flux sortants de l'environnement de test, qui vérifie l'isolement avant chaque exécution et pas seulement au lancement de la mission, et quel délai de notification s'applique lorsqu'un test touche quelque chose hors du périmètre convenu. Demandez à votre prestataire qui a vérifié, à quelle date, et ce que la vérification a donné.

Considérez-vous ensuite comme un tiers possible et pas seulement comme un client. Vérifiez ce que vos compilations ont tiré des dépôts publics de paquets en avril et en mai, et examinez vos applications exposées sur internet à cette période à la recherche de scans et d'abus d'identifiants. Aucune des trois organisations n'avait rien commandé, et les quinze systèmes qui ont exécuté le paquet piégé étaient simplement des machines ayant installé une dépendance un après-midi ordinaire. Il vaut la peine de noter aussi qu'Anthropic a choisi de publier. La norme de divulgation autour des évaluations d'IA est aujourd'hui fixée par le comportement volontaire de ceux qui les mènent, et c'est une base fragile pour planifier.

À lire ensuite: La faille Cisco exploitée n'a obtenu que 5,3  |  Vérifiez un réglage avant de corriger Artifactory