Una cifra, no solo otra advertencia

El 8 de septiembre, el propio responsable de ciencia de alineamiento de Anthropic puso una cifra concreta al riesgo que su empleador construye cada día. Evan Hubinger, respondiendo a un compañero que se marchaba, escribió que él personalmente ve una probabilidad superior al 10 por ciento de que la IA cause la extinción humana en la próxima década.

Ese compañero era Jacob Coxon, un investigador de 27 años que pasó tres años en preentrenamiento, primero en OpenAI con el modelo GPT-4o, después en Anthropic. Coxon dimitió el martes por la noche y escribió que ambos laboratorios "corren directos hacia una superinteligencia autoperfecciónable y se juegan nuestras vidas", añadiendo que quienes construyen esta tecnología "creen de verdad que podría matarnos a todos antes de que acabe la decada". Hubinger dijo que tenía razón y aclaró que el riesgo al que se refería viene especificamente de la autoperfección recursiva, no de los modelos comerciales que Anthropic vende hoy.

Por qué una cifra desde dentro se lee distinto

Las estimaciones públicas de riesgo catastrófico de la IA no son nuevas, investigadores y activistas externos publican encuestas desde hace años. Lo que cambió el 8 de septiembre fue quien hablaba: la persona a la que Anthropic encargó dirigir la ciencia de alineamiento, en público y con una cifra, no solo con una sensación.

Cuando se publicó esta información, Anthropic no había emitido una declaración corporativa sobre la cifra, y Hubinger dejó claro que reflejaba su opinión personal, no una posición oficial de la empresa. Esa distinción no sobrevive a una hoja de cálculo de compras. La cifra de un responsable de riesgo con nombre y apellido, por personal que sea, es exactamente el tipo de prueba que un equipo de cumplimiento puede anotar.

El ángulo de cumplimiento que faltaba en la cobertura

El artículo 55 de la Ley de IA de la UE obliga desde el 2 de agosto de 2025 a los proveedores de modelos de IA de propósito general con riesgo sistémico a evaluar y documentar esos riesgos, y la Oficina de IA obtuvo el 2 de agosto de 2026, algo más de un mes antes del mensaje de Hubinger, la potestad formal de comprobar el cumplimiento.

Las obligaciones son concretas: evaluación estandarizada del modelo con pruebas adversas incluidas, evaluación y mitigación del riesgo sistémico en todo el mercado de la UE, notificación de incidentes graves a la Oficina de IA y ciberseguridad adecuada para el propio modelo. Los proveedores cuya capacidad de cómputo de entrenamiento supera el umbral de riesgo sistémico de la ley, el grupo en el que se sitúan laboratorios punteros como Anthropic, son precisamente el destinatario de este artículo. Una cifra de riesgo declarada por la persona que dirige el trabajo de alineamiento de ese proveedor es exactamente el tipo de riesgo previsible que un regulador o un auditor buscará ahora.

Qué cambia para el equipo que compra la herramienta

En el producto no cambia nada hoy. No se retiró ningún modelo, no se desactivó ninguna función, y la propia aclaración de Hubinger vinculó su estimación a un escenario futuro, no al asistente que ahora mismo responde a las preguntas de su equipo.

Lo que debería cambiar es la documentación. Los registros de riesgo de proveedores que hoy dicen algo como "preocupaciones de seguridad de IA, en observación" pueden citar ahora una cifra con fuente, fecha y nombre. Y cualquier equipo que dependa de un único laboratorio puntero para un proceso clave debería tratar esa dependencia como un riesgo de concentración con nombre propio, no como una nota al pie, dado que la cifra vino de dentro del proveedor y no de un crítico externo.

Leer a continuación: Su Proveedor De IA Acaba De Recibir Carta De Bruselas  |  El Informe de Seguridad de Anthropic Enumera Sus Fallos