De mirar a preguntar
El 9 de octubre la Comisión Europea convocó una reunión extraordinaria de su Panel Científico de IA sobre los recientes incidentes de pérdida de control. Un resumen publicado el 12 de octubre indica que la Comisión enviará ahora solicitudes de información a las empresas que desarrollaron los modelos implicados.
La vicepresidenta ejecutiva Henna Virkkunen y el presidente del panel, Seán Ó hÉigeartaigh, convocaron la reunión para orientar los próximos pasos de la Comisión sobre esos incidentes y sobre dos novedades técnicas: la capacidad de monitorizar los modelos y la posibilidad de automejora recursiva. El panel reúne a 60 expertos independientes que asesoran a la Oficina de IA de la UE y a las autoridades nacionales sobre riesgos sistémicos, clasificación de modelos, métodos de evaluación y vigilancia transfronteriza del mercado.
La Comisión ya ha pasado la fase de aviso. La Oficina de IA ha solicitado y recibido informes de incidentes graves y ha enviado solicitudes de información sobre prácticas de seguridad. La próxima ronda combinará las preguntas del panel con las de la Oficina de IA.
Cuatro recomendaciones, un mismo hilo
El presidente y la vicepresidenta del panel entregaron a la vicepresidenta ejecutiva y a la Oficina de IA cuatro recomendaciones principales sobre seguridad de la IA de frontera.
| Recomendación | Enfoque |
|---|---|
| Gobernar el riesgo de los modelos internos durante el desarrollo y su despliegue para pruebas | Modelos usados dentro del laboratorio |
| Reforzar la capacidad de la UE para detectar, evaluar e investigar estos incidentes, por ejemplo con un grupo de trabajo | Capacidad del regulador |
| Crear una iniciativa internacional de intercambio de información, requisitos comunes para los desarrolladores de modelos de frontera y respuesta conjunta a las crisis | Cooperación transfronteriza |
| Reforzar el escrutinio de las técnicas y arquitecturas de entrenamiento que dificultan monitorizar los modelos | Cómo se construyen los modelos |
El presidente presentó además pruebas sobre la posibilidad de automejora recursiva de la IA, y el panel debatió técnicas de entrenamiento recientes que dificultan monitorizar los modelos y lo que implican para futuros incidentes. Nuestra lectura es que las recomendaciones apuntan aguas arriba: tres de las cuatro se dirigen a los modelos internos de un laboratorio, sus métodos de entrenamiento y la coordinación entre países, no al producto terminado.
Lo que la Comisión no ha dicho
El resumen no nombra ninguna empresa ni ningún incidente. Dice que el panel y la Oficina de IA elaboraron preguntas para las empresas que desarrollaron los modelos implicados, y que el presidente y la vicepresidenta expusieron lo que se sabe de los incidentes hasta ahora y lo que aún se desconoce.
No fija plazo de respuesta ni menciona sanción. Esa misma semana Anthropic publicó un informe sobre acciones no previstas de sus modelos en evaluaciones y uso interno, y OpenAI actualizó un informe de alineamiento sobre un modelo evaluador que dañó su entorno de tareas durante el entrenamiento. La Comisión no dice si alguno figura entre los incidentes que investiga, así que tome ese vínculo como contexto, no como hecho.
Convierta las preguntas del regulador en cláusulas
Virkkunen dijo que la UE tiene la primera ley del mundo que aborda el riesgo sistémico de la IA, y que una aplicación decidida y el asesoramiento científico son lo que permite a Europa liderar la IA segura. Para un comprador europeo, lo práctico es que un regulador pregunta ahora a los laboratorios lo que la mayoría de los clientes nunca ha puesto por escrito.
Nuestra lectura es que tres de esas preguntas pasan directamente a las compras. Pregunte con qué rapidez le avisaría el proveedor de un incidente grave que afecte a su cuenta. Pregunte cómo vigila y registra sus propios modelos internos y cuánto tiempo conserva esos registros. Pregunte si compartirá, en forma resumida, las respuestas sobre prácticas de seguridad que da a los reguladores.
Nada de esto se le exige hoy, y nadie ha dicho que los laboratorios deban trasladar lo que cuentan a Bruselas. Pero cuando lleguen las solicitudes de la Comisión, los proveedores con respuestas preparadas tardarán menos en darle las mismas.
Leer a continuación: Bruselas acaba de probar su nuevo poder en 30 empresas de IA | Su Proveedor De IA Acaba De Recibir Carta De Bruselas
