Test, Którego Żadna Ze Stron Nie Mogła Odczytać

27 sierpnia 2026 roku Google DeepMind przeprowadził coś, co firma nazywa pierwszą na świecie podwójnie ślepą ewaluacją własnościowego, czołowego modelu AI, w której żadna z dwóch stron nie mogła zobaczyć najbardziej wrażliwych danych drugiej. Ewaluacja wykorzystała Confidential Space, część oferty Confidential Computing Google Cloud, aby przeprowadzić test wewnątrz zweryfikowanej kryptograficznej enklawy: pytania ewaluatora pozostały zaszyfrowane i niedostępne dla Google, a wagi modelu Google pozostały zaszyfrowane i niedostępne dla ewaluatora.

"Korzystając z Confidential Space w ramach oferty Confidential Computing Google Cloud, możemy kryptograficznie potwierdzić, że zarówno zewnętrzne dane ewaluacyjne, jak i własnościowy model pozostają prywatne dla swoich właścicieli", napisał DeepMind w swoim ogłoszeniu. Do pilotażu jako ewaluatorzy dołączyło czterech partnerów: Singapurski Instytut Bezpieczeństwa AI, organizacja non-profit zajmująca się technologią prywatności OpenMined, grupa gwarancyjna AVERI oraz organizacja standaryzacyjna MLCommons.

To rozwiązanie eliminuje kompromis, który do tej pory kształtował każdą ewaluację AI. Zewnętrzny ewaluator musi albo zaufać samodzielnie zgłaszanym wynikom laboratorium, albo laboratorium musi wydać wagi modelu, które traktuje jako swoją najważniejszą tajemnicę handlową, albo ewaluator musi wydać swoje pytania testowe i zaryzykować, że model po prostu zapamięta odpowiedzi na następny raz. Ten pilotaż jest pierwszym publicznym przypadkiem, w którym własnościowy czołowy model AI przechodzi prawdziwy test bez konieczności pójścia na ten kompromis przez którąkolwiek ze stron.

Dlaczego Wyniki Benchmarków Łatwo Było Manipulować

Problem, który ten pilotaż ma rozwiązać, ma nazwę: skażenie benchmarku, sytuacja, w której model już bezpośrednio lub pośrednio zetknął się z pytaniami, na podstawie których jest później oceniany. Gdy tak się dzieje, benchmark przestaje mierzyć to, co model naprawdę potrafi, a zaczyna mierzyć to, co już zapamiętał.

Skala problemu nie jest mała. Wcześniejsze badania, przywołane w relacjach o pilotażu, wykazały ślady skażenia benchmarków u około połowy z 31 testowanych modeli AI, przy czym skażenie zawyżało wyniki większych modeli bardziej niż mniejszych. Ma to znaczenie, ponieważ wyniki benchmarków to nie tylko tekst marketingowy; laboratoria używają ich także jako dowodu swoich deklaracji dotyczących bezpieczeństwa, a regulatorzy i kupujący korporacyjni coraz częściej traktują je jako sygnał zgodności zamiast patrzeć na nie z prawdziwym sceptycyzmem.

Testowany Model To Nie Ten, Który Ma Największe Znaczenie

Gemini Flash Lite, model, który DeepMind poddał temu pilotażowi, znajduje się na najmniejszym i najtańszym poziomie rodziny Gemini, a nie jest flagowym, czołowym modelem, którego deklaracje dotyczące możliwości i bezpieczeństwa niosą największą wagę komercyjną i regulacyjną. Testowanie najpierw lekkiego modelu to rozsądny sposób sprawdzenia nowej infrastruktury technicznej, ale oznacza też, że pilotaż nie odpowiedział jeszcze na najważniejsze pytanie: czy ta sama kryptograficzna kontrola działa, i czy jest rzeczywiście przeprowadzana, na modelu, który Google faktycznie sprzedaje jako swój czołowy system.

Czterej partnerzy ewaluacyjni zostali wybrani przez samego Google, a Singapurski Instytut Bezpieczeństwa AI jest prawdziwym państwowym organem bezpieczeństwa, co daje pilotażowi pewną realną niezależność. Jednak żaden zewnętrzny audytor nie zweryfikował jeszcze integralności samej enklawy, a DeepMind opisał to jako pilotaż, a nie jako stałe zobowiązanie do testowania w ten sposób każdego modelu w przyszłości.

Co To Oznacza Dla Kupujących AI I Regulatorów W UE I Wielkiej Brytanii

Dla organizacji z UE lub Wielkiej Brytanii, która kupuje lub reguluje systemy AI, interesujące pytanie nie brzmi, czy ten konkretny pilotaż zadziałał, lecz czy podwójnie ślepa ewaluacja stanie się standardowym dowodem, jaki będą musieli przedstawiać dostawcy. Niezależna weryfikacja deklaracji bezpieczeństwa czołowego modelu dziś zwykle oznacza jedną z dwóch niezadowalających opcji: zaufanie własnej publikowanej karcie modelu dostawcy albo żądanie dostępu do wag, na co niemal żadne laboratorium się nie zgodzi.

Ten pilotaż jest działającą techniczną odpowiedzią na tę lukę, jeszcze nigdzie niebędącą wymogiem prawnym i jeszcze niezastosowaną do modelu, którego deklaracje faktycznie kierują decyzjami zakupowymi lub zgłoszeniami regulacyjnymi. Kupujący z UE lub Wielkiej Brytanii, oceniający dostawcę czołowego modelu AI pod kątem dowodów zgodności, ma konkretne nowe pytanie do zadania: czy jest on gotowy poddać takiej właśnie ewaluacji swój flagowy model, a nie tylko najtańszy poziom.

Czytaj dalej: Rekord pobrań Qwen ukrywa lukę w zgodności z UE  |  Granty Anthropic na dobrostan powielają lukę OpenAI