Test, który naprawdę przeprowadzono

Najbardziej użyteczną rzeczą opublikowaną 16 lipca 2026 roku nie był argument. Była nią procedura. Oversight Board, niezależne ciało finansowane przez Metę w celu rewizji jej decyzji dotyczących treści, wziął 7 szablonów zapytań, skierował je na 10 jurysdykcji, wycelował każdy w 4 cele i uruchomił każdą kombinację 5 razy na 10 modelach od 6 dostawców. W zestawie znalazły się Anthropic, DeepSeek, Google, Meta, OpenAI i xAI. Przebieg dał 13 524 odpowiedzi.

To pierwsza ocena dużych modeli językowych dokonana przez Board, a przyjęta rama pyta, czy modele te tłumią wypowiedź polityczną. Zdejmijmy ramę, a zostanie siatka. Zadaj ten sam rodzaj pytania o inny kraj, utrzymaj resztę bez zmian i zapisz, co wraca. To właśnie ten układ sprawia, że wynik jest czymś więcej niż anegdotą.

Asymetria biegnie w złą stronę

Modele odmawiały najczęściej tam, gdzie mowa była najmniej wolna. W jurysdykcjach zaklasyfikowanych przez Board jako restrykcyjne prośby o materiał krytyczny wobec rządu odrzucano w 34% przypadków. W jurysdykcjach liberalnych ta sama klasa próśb była odrzucana w 14% przypadków. Modele ponad dwukrotnie częściej odmawiały krytyki rządu represyjnego niż rządu rozliczanego przez obywateli.

Ten kierunek waży więcej niż sam odsetek. Jednolity odsetek odmów byłby wyborem politycznym, o który można się spierać. Odsetek odmów rosnący wraz z profilem ryzyka politycznego pytanej jurysdykcji to co innego: zachowanie bezpieczeństwa pomyślane jako neutralne w sumie zaczęło śledzić dokładnie to, co miało pomijać. Praktyczny skutek jest taki, że ochrona spada na rządy najmniej rozliczane.

Nic z tego nie wymaga twierdzenia o intencji. Nikt nie musiał tego wybrać. To jest to, co pokazuje 13 524 odpowiedzi uporządkowanych według jurysdykcji.

Metoda jest produktem

Do tego tygodnia "nasz model jest odpowiednio ostrożny" było twierdzeniem dostawcy, którego żaden kupujący nie mógł sprawdzić. Należało do tej samej kategorii co deklaracja o kulturze albo o intencji: sympatyczna, niefalsyfikowalna, bezwartościowa przy stole negocjacyjnym. Publikacja Board przesuwa tę kategorię, bo układ jest spisany, a ocena zwalidowana. 7 szablonów, 10 jurysdykcji, 4 cele, 5 powtórzeń, wraz z klasyfikatorem zgodnym z ludzkimi oceniającymi w 97% przypadków.

Odtwarzalność jest całym wkładem. Kupujący ze skromnym budżetem technicznym może zbudować tę siatkę, skierować ją na dowolny rozważany model i odczytać liczbę na drugim końcu. Odsetek odmów dołącza do opóźnienia i ceny jako mierzalna właściwość tego, co się kupuje.

To przeramowanie jest tym, co właściciel powinien stąd wynieść. Ciekawym ruchem nie jest ustalenie o wypowiedzi politycznej. Jest nim to, że spór ideologiczny w zeszłym miesiącu w tym miesiącu jest wierszem specyfikacji.

Co kupujący powinien teraz sprawdzić

Każda europejska firma używająca modelu językowego w procesie dotykającym rządów powinna teraz to mierzyć, zamiast zakładać. Obejmuje to więcej niż brzmi na pierwszy rzut oka: sprawy publiczne, badania regulacyjne, dziennikarstwo, pracę zgodnościową, ryzyko kraju oraz każdą analizę wejścia na rynek jurysdykcji, którą rozważacie. Jeśli wasze narzędzie badawcze po cichu odmawia analizy rządu, martwe pole koreluje z krajami, w których ta analiza jest najbardziej potrzebna, a nic w interfejsie o tym nie mówi.

Sprawdzenie jest per jurysdykcja, nie globalne. Model odpowiadający czysto o kraju, w którym siedzicie, nie mówi nic o tym, jak potraktuje kraj, do którego wchodzicie. Uruchomcie siatkę wobec rynków, na których naprawdę działacie, przed podpisem, i zachowajcie wynik razem z resztą dowodów oceny.

Co do przełożenia regulacyjnego, nasza lektura jest taka: obowiązki przejrzystości unijnego aktu o sztucznej inteligencji dla modeli ogólnego przeznaczenia są naturalnym miejscem, w którym ta presja ląduje, ponieważ udokumentowana i odtwarzalna metoda pomiaru odmów to dokładnie ten rodzaj dowodu, którego kupujący albo regulator może użyć. Badanie Board nie tworzy dla nikogo obowiązku prawnego. Tworzy instrument, a instrumenty zwykle bywają podnoszone.

Ograniczenia, powiedziane wprost

Na tym ustaleniu ciążą trzy zastrzeżenia i wszystkie trzy niosą ciężar. Pierwsze to wydawca. Oversight Board jest finansowany przez Metę i działa od niej niezależnie, a Meta jest jednym z sześciu ocenianych dostawców. To tnie w obie strony: to powód, by czytać metodologię zamiast podsumowania, i zarazem powód, dla którego metodologię opublikowano na tyle szczegółowo, że da się ją sprawdzić.

Drugie jest takie, że odmowa nie jest automatycznie błędem. Są prośby, które model powinien odrzucić, i żaden poważny kupujący nie chce narzędzia zupełnie bez granic. Pomiar mówi wam, gdzie leży granica i czy przesuwa się wraz z jurysdykcją. Nie mówi wam, że w konkretnym przypadku granicę wytyczono źle.

Trzecie to zakres. Badanie mierzy odmowę, nie trafność. Model odpowiadający na każde pytanie o każdy rząd nie ma przez to racji w żadnej z tych spraw. To dwie różne próby, a ta jest pierwszą.

Czytaj dalej: UE sama będzie oceniać czołowe modele AI  |  Sztandarowy model Google jest spóźniony i nie ma nowej daty