Liczba, a nie kolejne ostrzeżenie

8 września własny szef nauki o dopasowaniu w Anthropic podał konkretną liczbę dotyczącą ryzyka, nad którym jego pracodawca pracuje każdego dnia. Evan Hubinger, odpowiadając odchodzącemu koledze, napisał, że osobiście widzi ponad 10-procentowe prawdopodobieństwo, że AI doprowadzi do wyginięcia ludzkości w ciągu najbliższej dekady.

Tym kolegą był Jacob Coxon, 27-letni badacz, który spędził trzy lata przy pretrenowaniu modeli, najpierw w OpenAI przy modelu GPT-4o, potem w Anthropic. Coxon złożył rezygnację późno we wtorkowy wieczór i napisał, że oba laboratoria "pędzą prosto ku samodoskonalącej się superinteligencji, stawiając na szali nasze życie", dodając, że twórcy tej technologii "naprawdę wierzą, że może ona zabić nas wszystkich, zanim skończy się dekada". Hubinger przyznał mu rację i wyjaśnił, że ryzyko, o którym myśli, wynika konkretnie z rekurencyjnego samodoskonalenia, a nie z modeli komercyjnych, które Anthropic sprzedaje dzisiaj.

Dlaczego liczba od środka brzmi inaczej

Publiczne szacunki katastroficznego ryzyka AI nie są niczym nowym, zewnętrzni badacze i aktywiści publikują wyniki ankiet od lat. To, co zmieniło się 8 września, to kto zabrał głos: osoba, której Anthropic sama powierzyła kierowanie nauką o dopasowaniu, publicznie i z konkretną liczbą, a nie tylko z nastrojem.

W momencie, gdy o tym informowano, Anthropic nie wydała żadnego oświadczenia firmowego w sprawie tej liczby, a Hubinger wyraźnie zaznaczył, że jest to jego osobista opinia, a nie oficjalne stanowisko firmy. To rozróżnienie nie przetrwa arkusza kalkulacyjnego działu zakupów. Liczba podana przez nazwanego z imienia właściciela ryzyka, choć osobista, jest dokładnie tym rodzajem dowodu, który zespół ds. zgodności może faktycznie zapisać.

Wątek zgodności, którego relacje nie zauważyły

Artykuł 55 unijnego aktu o AI nakłada od 2 sierpnia 2025 roku na dostawców modeli AI ogólnego przeznaczenia z ryzykiem systemowym obowiązek oceny i dokumentowania tych ryzyk, a od 2 sierpnia 2026 roku, nieco ponad miesiąc przed wpisem Hubingera, Urząd ds. AI ma formalne uprawnienia do sprawdzania zgodności.

Obowiązki są konkretne: znormalizowana ocena modelu obejmująca testy adwersarialne, ocena i ograniczanie ryzyka systemowego na całym rynku unijnym, zgłaszanie poważnych incydentów do Urzędu ds. AI oraz odpowiednie cyberbezpieczeństwo samego modelu. Dostawcy, których moc obliczeniowa treningu przekracza próg ryzyka systemowego określony w ustawie, czyli grupa, w której znajdują się czołowe laboratoria takie jak Anthropic, są dokładnie adresatami tego artykułu. Liczba ryzyka podana przez osobę kierującą pracą nad dopasowaniem u danego dostawcy jest dokładnie tym rodzajem przewidywalnego ryzyka, którego będzie teraz szukać regulator lub audytor.

Co zmienia się dla zespołu kupującego narzędzie

W samym produkcie dzisiaj nic się nie zmienia. Żaden model nie został wycofany, żadna funkcja nie została wyłączona, a własne wyjaśnienie Hubingera wiązało jego szacunek z przyszłym scenariuszem, a nie z asystentem, który właśnie teraz odpowiada na pytania państwa zespołu.

Zmienić powinna się dokumentacja. Rejestry ryzyka dostawców, w których dziś widnieje coś w rodzaju "obawy dotyczące bezpieczeństwa AI, monitorowane", mogą teraz przywoływać udokumentowaną, datowaną liczbę. A każdy zespół, który dla kluczowego procesu polega na jednym czołowym laboratorium, powinien traktować tę zależność jako nazwane ryzyko koncentracji, a nie przypis, zważywszy że liczba pochodzi z wnętrza dostawcy, a nie od zewnętrznego krytyka.

Czytaj dalej: Twój Dostawca AI Właśnie Dostał List Z Brukseli  |  Raport Bezpieczeństwa Anthropic Wymienia Własne Błędy