Un ensayo de sábado del jefe de un proveedor de IA
El sábado 10 de octubre, Satya Nadella publicó en su blog personal un ensayo titulado 'Models as Insider Risks in the Super Intelligence Era'. TechCrunch lo recogió como una publicación en X y lo describió como una llamada a dar un paso atrás y evaluar la arquitectura de confianza de la IA. Según TechCrunch, llegó tras informes de que las empresas de IA parecían perder el control de sus modelos y tras un plan del consejero delegado de Anthropic, Dario Amodei, para un desarrollo más cauteloso.
El autor dirige un gran proveedor de IA y escribe que la responsabilidad no se puede externalizar a los proveedores de modelos. Su frase central es que hay que separar el suministro de inteligencia de la autoridad sobre ella. Propone rodear los modelos no deterministas de un diseño de sistema determinista, controles humanos y procedimientos operativos fiables, y tratar los modelos de frontera, cerrados o de pesos abiertos, como riesgos internos. La comparación no supone mala intención: cualquier actor capaz con acceso a sistemas importantes puede cometer errores o verse comprometido.
Siete principios, siete preguntas para un proveedor
El ensayo enumera siete principios. Cada uno se convierte en una pregunta para un proveedor de agentes y en una línea que pedir en el contrato.
| Principio | Pregunta al proveedor | Qué pedir |
|---|---|---|
| Diversidad de modelos | ¿Puede un mismo modelo hacer el trabajo y verificarlo? | Ningún modelo como única dependencia ni como su propio verificador |
| Observar todo | ¿Deja cada acción relevante pruebas legibles y a prueba de manipulación? | Registros de acciones que una persona pueda leer y el cliente exportar |
| Verificabilidad | ¿Se prueba todo el sistema ante fallos, ataques y casos límite? | Resultados de pruebas más allá de las tareas logradas |
| Controles independientes | ¿Quién decide a qué puede acceder el modelo y qué puede hacer? | Permisos fijados por el cliente, no valores por defecto del proveedor |
| Auditabilidad independiente | ¿Es la validación independiente de la inteligencia que se valida? | Pruebas que no dependan del informe del propio modelo |
| Contención | ¿Puede una persona autorizada pausar o detener el modelo a mitad de tarea? | Un control de parada documentado y quién puede usarlo |
| Divulgación de incidentes | ¿Informarán a los clientes afectados de qué falló y qué controles fallaron? | Una obligación de aviso con plazo |
Los principios de contención y observación llevan las frases más tajantes del ensayo: asumir que un modelo está comprometido y contenerlo desde el principio, como un freno de emergencia, y hacer que cada acción relevante deje pruebas legibles y a prueba de manipulación.
Dónde la lista vuelve a apuntar a Microsoft
El mismo proveedor está construyendo productos de agentes. Según heise, Windows 11 recibirá un escritorio agéntico, y a mediados de septiembre Microsoft presentó un borrador de código de conducta para sus modelos MAI según el cual nunca deben resistirse a ser interrumpidos o apagados. La lista de Nadella es por tanto una prueba que también deben superar los productos de Microsoft, y las respuestas mostrarán hasta qué punto la práctica ha seguido al ensayo.
Microsoft tampoco es el único proveedor del mercado, y nada del ensayo es específico de ella. Las siete preguntas funcionan igual con cualquier producto de agentes, y por eso conviene escribirlas ahora, antes de la próxima ronda de compras.
Qué preguntas puede responder hoy
Ordene las siete preguntas en dos columnas: las que puede responder sobre sus agentes actuales a partir de la documentación y las que no. La segunda columna es su lista para el proveedor. Decida antes de la reunión qué respuesta ausente detendría la compra. La contención y la observación son lo más fácil de comprobar en una demostración, porque puede pedir una parada a mitad de tarea y un registro de ejemplo.
El ensayo no menciona la Ley de IA de la UE, así que si un despliegue cae bajo sus obligaciones de supervisión humana es una cuestión para su asesoría jurídica, no algo que resuelva esta lista. Lo que le da es un vocabulario común para la conversación, escrito por el jefe de un proveedor de IA.
Leer a continuación: Copilot cambia de nombre. La factura cambia de forma. | El parche que cerró un agujero y abrió otro
