Ce qu'OpenAI a signé le 16 novembre
OpenAI a annoncé le 16 novembre avoir engagé Apollo Research, METR, Transluce et Goodfire pour la première phase d'évaluations intégrées. L'accès peut couvrir les points de contrôle des modèles, le code source, les données d'entraînement et les systèmes de surveillance. Apollo vérifie si l'entraînement a récompensé la subversion et si elle serait détectable, METR étudie ce qu'OpenAI présente comme son plus grand entraînement par renforcement à ce jour, Transluce audite la qualité et la couverture des évaluations d'alignement après entraînement, et Goodfire intègre des chercheurs en interprétabilité. Apollo et Goodfire acceptent une rémunération qui ne dépend pas des résultats ; METR et Transluce ne perçoivent rien, mais peuvent accepter des crédits d'API ou de la puissance de calcul.
Où les conditions limitent l'indépendance
Les évaluateurs gardent le droit de publier, mais OpenAI peut caviarder les informations confidentielles et demander des délais de divulgation responsable. Les litiges vont d'abord au Safety Advisory Group et aux dirigeants, puis seulement au Safety and Security Committee, qui reçoit aussi les rapports non caviardés. OpenAI peut refuser de confirmer des propos tenus lors d'échanges confidentiels avec des salariés, et les évaluateurs peuvent alors seulement dire qu'elle a refusé. Les règles sur les conflits d'intérêts sont encore en cours d'écriture, l'évaluation des moniteurs par METR n'a pas de périmètre convenu et le suivi de huit semaines prévu début 2027 est une intention, pas un engagement.
Ce qu'il faut demander à un fournisseur qui cite des tests externes
À notre avis, l'accès intégré est un vrai pas au-delà d'un audit de quelques jours, mais il ne rassure que dans la mesure où les conditions sont connues. Si un fournisseur d'IA affirme que des tiers ont évalué ses modèles, demandez ce que l'évaluateur pouvait voir, qui peut caviarder le rapport, qui tranche les litiges et si de l'argent a été versé. Gardez les réponses dans votre dossier d'achat, car les mêmes questions valent pour tout laboratoire, européen compris.
À lire ensuite: L'audit indépendant qui a eu besoin de l'aval du fournisseur | Des chercheurs externes ont découvert trois piratages d'OpenAI sur quatre



