Hvad OpenAI underskrev den 16. november

OpenAI meddelte den 16. november, at det har indgået aftale med Apollo Research, METR, Transluce og Goodfire om første fase af indlejrede vurderinger. Adgangen kan omfatte modelkontrolpunkter, kildekode, træningsdata og overvågningssystemer. Apollo tester, om træningen belønnede bedrag, og om det ville kunne opdages, METR ser på det, OpenAI kalder sit hidtil største reinforcement learning-forløb, Transluce gennemgår kvalitet og dækning af alignment-testene efter træningen, og Goodfire placerer fortolkbarhedsforskere i teamet. Apollo og Goodfire modtager betaling, der ikke afhænger af resultatet, mens METR og Transluce ikke tager penge, men måske API-kreditter eller regnekraft.

Hvor vilkårene begrænser uafhængigheden

Vurderingsholdene beholder retten til at offentliggøre, men OpenAI kan sværte fortrolige oplysninger og bede om forsinkelse af hensyn til ansvarlig offentliggørelse. Tvister går først til Safety Advisory Group og direktionen og først derefter til Safety and Security Committee, som også får urørte rapporter. OpenAI kan nægte at bekræfte udsagn fra fortrolige samtaler med medarbejdere, og vurderingsholdene må så kun sige, at det nægtede. Regler om interessekonflikter er stadig under udarbejdelse, METR's vurdering af overvågningen har ingen aftalt afgrænsning, og den otte uger lange opfølgning, der er planlagt til begyndelsen af 2027, er en hensigt og ikke en forpligtelse.

Hvad du bør spørge en leverandør, der nævner eksterne tests

Efter vores mening er indlejret adgang et reelt skridt ud over en revision på få dage, men den giver kun tryghed, i det omfang vilkårene er kendt. Siger en AI-leverandør, at udenforstående har vurderet modellerne, så spørg, hvad vurderingsholdet kunne se, hvem der kan sværte rapporten, hvem der afgør tvister, og om der er betalt penge. Gem svarene i din indkøbsmappe, for de samme spørgsmål gælder ethvert laboratorium, også europæiske.