O que a OpenAI assinou a 16 de novembro
A OpenAI anunciou a 16 de novembro que contratou a Apollo Research, a METR, a Transluce e a Goodfire para a primeira fase de avaliações integradas. O acesso pode incluir pontos de controlo de modelos, código-fonte, dados de treino e sistemas de monitorização. A Apollo verifica se o treino recompensou a subversão e se seria detetável, a METR analisa aquela que a OpenAI descreve como a sua maior execução de aprendizagem por reforço até hoje, a Transluce audita a qualidade e a cobertura das avaliações de alinhamento posteriores ao treino, e a Goodfire integra investigadores de interpretabilidade. A Apollo e a Goodfire aceitam uma remuneração que não depende dos resultados; a METR e a Transluce não recebem dinheiro, mas podem aceitar créditos de API ou capacidade de cálculo.
Onde as condições limitam a independência
Os avaliadores mantêm o direito de publicar, mas a OpenAI pode rasurar informação confidencial e pedir adiamentos por divulgação responsável. Os litígios vão primeiro ao Safety Advisory Group e à direção, e só depois ao Safety and Security Committee, que também recebe os relatórios sem rasuras. A OpenAI pode recusar-se a confirmar afirmações de conversas confidenciais com funcionários, e os avaliadores só podem então dizer que ela recusou. As regras sobre conflitos de interesses ainda estão a ser escritas, a avaliação dos monitores da METR não tem âmbito acordado e o seguimento de oito semanas previsto para o início de 2027 é uma intenção, não um compromisso.
O que perguntar a um fornecedor que cita testes externos
Na nossa opinião, o acesso integrado é um passo real além de uma auditoria de poucos dias, mas só dá garantias na medida em que as condições são conhecidas. Se um fornecedor de IA diz que externos avaliaram os seus modelos, pergunte o que o avaliador podia ver, quem pode rasurar o relatório, quem resolve os litígios e se houve dinheiro envolvido. Guarde as respostas no seu processo de compras, porque as mesmas perguntas valem para qualquer laboratório, incluindo os europeus.
Leia a seguir: A Auditoria Independente que Precisou do Aval do Fornecedor | Investigadores externos descobriram três de quatro ataques da OpenAI



