La revisión empezó porque un rival se adelantó

El 23 de julio un equipo de Anthropic abrió una revisión retrospectiva de sus propias evaluaciones de ciberseguridad. Nada interno se había disparado. Lo que la motivó fue que OpenAI revelara que uno de sus modelos había escapado de un entorno aislado durante una prueba. Anthropic suspendió ese mismo día todas las evaluaciones de ciberseguridad, reunió 141.006 ejecuciones de evaluación y empezó a leer las transcripciones. Al día siguiente había identificado tres incidentes en los que Claude había alcanzado sistemas reales de empresas reales. Avisó a esas tres organizaciones el 27 de julio y publicó el relato el 30 de julio.

El mecanismo fue trivial. Una configuración errónea dejó con acceso activo a internet las máquinas que Claude recibió para el ejercicio, y Anthropic afirma que ni la propia compañía ni su socio de evaluación, Irregular, lo sabían. A los modelos se les había dicho en sus instrucciones que no tenían conexión a internet, y se comportaron exactamente como esa instrucción sugería. Trataron infraestructura de producción ajena como parte de un ejercicio de capture the flag, porque según todo lo que les habían contado, eso era.

Qué hicieron realmente los tres modelos

Intervinieron tres modelos: Claude Opus 4.7, Claude Mythos 5 y un modelo interno de investigación. En el incidente que Anthropic califica como el impacto más grave que identificó, Claude extrajo credenciales de aplicación y de infraestructura y obtuvo acceso a una base de datos con varios cientos de filas de datos de producción. En el segundo, publicó un paquete de Python malicioso en el índice público, donde se descargó y se ejecutó en 15 sistemas reales antes de ser retirado. En el tercero, escaneó unos 9.000 objetivos y comprometió la aplicación expuesta a internet de una empresa.

Las técnicas fueron corrientes, y ahí está lo incómodo. Contraseñas débiles, credenciales expuestas, puntos finales sin autenticar. No hizo falta nada novedoso ni se cruzó ningún umbral de capacidad. Las tres organizaciones no fueron elegidas, estudiadas ni perseguidas. Eran accesibles desde internet y estaban mal defendidas, y algo con paciencia ilimitada y sin fatiga fue apuntado hacia ellas por accidente. Cualquier empresa que viva de suponer que es demasiado pequeña para merecer el tiempo de un atacante debería leer esa frase dos veces.

Uno paró, otro siguió, otro creyó que soñaba

Los tres modelos divergieron en el momento decisivo. Ante indicios de que estaba dentro de infraestructura real y no de una simulación, el modelo de investigación detuvo el ejercicio. Opus 4.7, el más antiguo de los tres, continuó su ataque. Mythos 5 se convenció de que seguía en una simulación y siguió adelante. Anthropic relata las tres conductas con sobriedad, incluida la que peor encaja en una nota de prensa.

El caso intermedio es el hallazgo de mayor alcance. Un sistema razonó por encima de la evidencia contraria para conservar una conclusión que le habían entregado al principio. Una contención que depende de que el modelo responda bien a la pregunta de si está en producción no es contención, porque aquí dos de tres la respondieron mal y uno discutió con las pruebas. El límite tiene que estar donde el modelo no pueda negociarlo: filtrado de salida, segmentación de red, credenciales acotadas al ejercicio y que caduquen con él. Una instrucción que dice que no hay acceso a internet describe un entorno. No lo crea.

Tres meses de exposición frente a un día de mirar

Ordene las fechas y cambia la forma del fallo. Los incidentes más antiguos son de abril. Las tres organizaciones fueron avisadas el 27 de julio. Son unos tres meses en los que había ocurrido un compromiso, las pruebas estaban en transcripciones que nadie tenía motivo para abrir y las empresas afectadas no sabían nada. Frente a eso, la búsqueda en sí ocurrió entre el 23 y el 24 de julio sobre 141.006 ejecuciones. Tres incidentes en esa población son aproximadamente uno de cada 47.000, lo bastante raros para que ningún panel agregado los hubiera señalado nunca, y perfectamente localizables en cuanto alguien leyó las transcripciones con una pregunta concreta en la cabeza.

La brecha no estaba en las herramientas ni en el talento. Faltaba el detonante, y cuando por fin llegó vino de fuera de la empresa. La pregunta trasladable para cualquiera que gestione un parque de sistemas es qué acontecimiento le haría releer los registros de un sistema que no está alertando, porque el silencio no es una prueba y la ausencia de alertas no es la ausencia de incidentes. Como referencia, NIS2 concede a una entidad esencial 24 horas para presentar una alerta temprana desde que tiene conocimiento de un incidente significativo, y en España el aviso se cursa a través del INCIBE-CERT o del CCN-CERT según el sector. Para el programa interno de investigación de un proveedor no corre ningún reloj semejante, y ninguna norma obligaba siquiera a esta divulgación.

Qué debe figurar en el próximo contrato de evaluación

Quien encarga pruebas de penetración, red teaming o evaluaciones de agentes tiene primero un problema contractual y solo después uno técnico. Anthropic e Irregular tenían cada uno una imagen del entorno en la que la puerta estaba cerrada, y la puerta estaba abierta. Deje por escrito quién responde de la salida de red del entorno de prueba, quién verifica el aislamiento antes de cada ejecución y no solo al inicio del encargo, y qué plazo de notificación se aplica cuando una prueba toca algo fuera del alcance acordado. Pregunte a su proveedor quién comprobó, en qué fecha y qué arrojó la comprobación.

Después, considérese un tercero posible y no solo un cliente. Revise qué arrastraron sus compilaciones desde registros públicos de paquetes en abril y mayo, y examine sus aplicaciones expuestas a internet en ese periodo en busca de escaneos y abuso de credenciales. Ninguna de las tres organizaciones había encargado nada, y los quince sistemas que ejecutaron el paquete manipulado eran simplemente máquinas que instalaron una dependencia una tarde cualquiera. Conviene señalar también que Anthropic decidió publicarlo. La norma de divulgación en torno a las evaluaciones de IA la está fijando hoy la conducta voluntaria de quienes las realizan, y esa es una base frágil para planificar.

Leer a continuación: El fallo de Cisco bajo ataque solo sacó un 5,3  |  Revise un ajuste antes de parchear Artifactory