Wat OpenAI op 16 november tekende
OpenAI maakte op 16 november bekend dat het Apollo Research, METR, Transluce en Goodfire heeft gecontracteerd voor de eerste fase van ingebedde beoordelingen. De toegang kan modelcheckpoints, broncode, trainingsdata en monitoringsystemen omvatten. Apollo toetst of de training misleiding beloonde en of die zichtbaar zou zijn, METR bekijkt wat OpenAI zijn grootste reinforcement-learningrun tot nu toe noemt, Transluce controleert kwaliteit en dekking van de alignmenttests na de training, en Goodfire plaatst interpreteerbaarheidsonderzoekers in het team. Apollo en Goodfire accepteren een vergoeding die niet van de uitkomst afhangt; METR en Transluce nemen geen geld aan, al kunnen ze API-tegoed of rekenkracht accepteren.
Waar de voorwaarden de onafhankelijkheid beperken
De beoordelaars houden het recht om te publiceren, maar OpenAI mag vertrouwelijke informatie zwarten en uitstel vragen voor verantwoorde openbaarmaking. Geschillen gaan eerst naar de Safety Advisory Group en de directie en pas daarna naar het Safety and Security Committee, dat ook ongezwarte rapporten ontvangt. OpenAI mag weigeren uitspraken uit vertrouwelijke gesprekken met medewerkers te bevestigen, en de beoordelaars mogen dan alleen melden dat het weigerde. Regels voor belangenconflicten worden nog geschreven, voor de monitorbeoordeling van METR is geen omvang afgesproken en de achtweekse vervolgbeoordeling voor begin 2027 is een voornemen, geen toezegging.
Wat u een leverancier moet vragen die externe tests noemt
Volgens ons is ingebedde toegang een echte stap voorbij een audit van enkele dagen, maar hij geeft alleen zekerheid voor zover de voorwaarden bekend zijn. Zegt een AI-leverancier dat buitenstaanders zijn modellen beoordeelden, vraag dan wat de beoordelaar kon zien, wie het rapport mag zwarten, wie geschillen beslecht en of er geld is betaald. Bewaar de antwoorden in uw inkoopdossier, want dezelfde vragen gelden voor elk lab, ook Europese.
Lees hierna: De onafhankelijke audit die het fiat van de leverancier nodig had | Externe onderzoekers ontdekten drie van de vier OpenAI-hacks



