Un essai du samedi signé par le patron d'un fournisseur d'IA
Le samedi 10 octobre, Satya Nadella a publié sur son blog personnel un essai intitulé 'Models as Insider Risks in the Super Intelligence Era'. TechCrunch l'a rapporté comme un message sur X et l'a décrit comme un appel à prendre du recul et à évaluer l'architecture de confiance de l'IA. Selon TechCrunch, il fait suite à des informations selon lesquelles les entreprises d'IA semblent perdre le contrôle de leurs modèles et à un plan du directeur général d'Anthropic, Dario Amodei, pour un développement plus prudent.
L'auteur dirige un grand fournisseur d'IA et écrit que la responsabilité ne peut pas être externalisée aux fournisseurs de modèles. Sa phrase centrale est qu'il faut séparer la fourniture d'intelligence de l'autorité sur elle. Il propose d'entourer les modèles non déterministes d'une conception de système déterministe, de contrôles humains et de procédures d'exploitation fiables, et de traiter les modèles de pointe, fermés ou à poids ouverts, comme des risques internes. La comparaison ne suppose pas de malveillance : tout acteur capable ayant accès à des systèmes importants peut faire des erreurs ou être compromis.
Sept principes, sept questions pour un fournisseur
L'essai énumère sept principes. Chacun se traduit en une question à poser à un fournisseur d'agents et en une ligne à demander dans le contrat.
| Principe | Question au fournisseur | Ce qu'il faut demander |
|---|---|---|
| Diversité des modèles | Un même modèle peut-il faire le travail et le vérifier ? | Aucun modèle comme unique dépendance ni comme son propre contrôleur |
| Tout observer | Chaque action notable laisse-t-elle une trace lisible et inviolable ? | Des journaux d'actions qu'un humain peut lire et que le client peut exporter |
| Vérifiabilité | Le système entier est-il testé face aux pannes, aux attaques et aux cas limites ? | Des résultats de tests au-delà des tâches réussies |
| Contrôles indépendants | Qui décide de ce que le modèle peut consulter et faire ? | Des droits fixés par le client, pas des valeurs par défaut du fournisseur |
| Auditabilité indépendante | La validation est-elle indépendante de l'intelligence validée ? | Des preuves qui ne reposent pas sur le rapport du modèle lui-même |
| Confinement | Une personne autorisée peut-elle suspendre ou arrêter le modèle en pleine tâche ? | Une commande d'arrêt documentée et la liste de ceux qui peuvent l'utiliser |
| Divulgation des incidents | Direz-vous aux clients touchés ce qui a échoué et quels contrôles ont failli ? | Une obligation de notification avec délai |
Les principes de confinement et d'observation portent les formules les plus nettes de l'essai : supposer qu'un modèle est compromis et le confiner dès le départ, comme un frein d'urgence, et faire laisser à chaque action notable une trace lisible et inviolable.
Là où la liste renvoie à Microsoft
Le même fournisseur construit des produits d'agents. Selon heise, Windows 11 doit recevoir un bureau agentique, et mi-septembre Microsoft a présenté un projet de code de conduite pour ses modèles MAI, selon lequel ils ne doivent jamais résister à une interruption ou à un arrêt. La liste de Nadella est donc un test que les produits de Microsoft doivent aussi passer, et les réponses montreront à quel point la pratique a suivi l'essai.
Microsoft n'est d'ailleurs pas le seul fournisseur du marché, et rien dans l'essai ne lui est propre. Les sept questions fonctionnent de la même façon avec n'importe quel produit d'agents, et c'est pourquoi il vaut mieux les écrire maintenant, avant le prochain cycle d'achats.
Les questions auxquelles vous pouvez répondre aujourd'hui
Classez les sept questions en deux colonnes : celles auxquelles vous pouvez répondre pour vos agents actuels à partir de la documentation, et les autres. La seconde colonne est votre liste pour le fournisseur. Décidez avant la réunion quelle réponse manquante stopperait l'achat. Le confinement et l'observation sont les plus faciles à vérifier en démonstration, car vous pouvez demander un arrêt en pleine tâche et un exemple de journal.
L'essai ne mentionne pas le règlement européen sur l'IA : savoir si un déploiement relève de ses obligations de surveillance humaine est donc une question pour vos conseils juridiques, que cette liste ne tranche pas. Elle vous donne un vocabulaire commun pour la discussion, écrit par le patron d'un fournisseur d'IA.
À lire ensuite: Copilot change de nom. La facture change de forme. | Le correctif qui a fermé un trou et en a ouvert un autre
