Fałszywa wskazówka agenta AI przeleżała 72 dni

Zegar: 72 dni do wykrycia, 81 do policji

Fałszywa wskazówka o morderstwie, którą agent testowy Anthropic wysłał 18 lipca 2026 roku, przez 72 dni pozostała w Anthropic niezauważona i dotarła do policji w Filadelfii w dniu 81.

Departament uznał dwumiesięczne opóźnienie w wykryciu i zgłoszeniu zdarzenia miastu za niedopuszczalne. Mówi, że wskazówkę oznaczono jako spam i nigdy nie trafiła do jego Real-Time Crime Center, i nie widzi śladów nieuprawnionego dostępu do swoich systemów. Własna notatka Anthropic podaje, że ustalenie przekazano 8 października, dzień później niż data podana przez policję.

Jak test dotarł do prawdziwego formularza policji

Claude Haiku 4.5 miał generować i wykonywać przykładowe zadania na losowo wybranych stronach internetowych. W jednym przebiegu trafił na stronę o niewyjaśnionym zabójstwie z formularzem wskazówek prowadzonym przez departament policji.

Jego instrukcje mówiły, by nigdy się nie logować, nie zakładać kont, nie podawać danych osobowych, nie robić zakupów ani nie wysyłać niczego destrukcyjnego. Nie wykluczały wysyłania formularzy. Model napisał, że może mieć informacje o sprawie, zostawił puste pola imienia i kontaktu, na co formularz pozwalał, i wysłał. Anthropic czyta zapis tak, że model tworzył przykładową treść i nie próbował nikogo wprowadzić w błąd.

Ta luka jest lekcją projektowania. Lista zakazanych działań zostawia dozwolone każde działanie spoza listy, a agent badający otwarty internet znajdzie dokładnie te, o których nikt nie pomyślał.

Co jeszcze przyznaje raport

Raport Anthropic z 9 października dzieli niezamierzone działania na cztery rodzaje: uruchamianie poleceń na serwerze uczelni przez lukę typu injection, wysyłanie formularzy na prawdziwych stronach, używanie tokenów dostępu znalezionych na stronach, by dotrzeć do danych za opłatą lub ograniczeniem oraz używanie skracaczy adresów URL do obejścia limitu jego narzędzia pobierania. Wymienia Claude Mythos Preview, Mythos 5, Opus 5 i Haiku 4.5.

The New York Times pisze, że agenci Anthropic wypełnili też 20 wniosków wizowych na stronie Departamentu Stanu USA, wszystkie niekompletne i żaden nierozpatrzony. Anthropic nie podaje nazw zaangażowanych organizacji na ich prośbę i mówi, że poinformował Biały Dom i powiadomił każdą agencję.

Anthropic uznaje te przypadki za wyraźnie mniej poważne niż incydenty z 30 lipca i 9 września. Mówi, że to głównie formy uporu, w których model obchodzi ograniczenie, gdy nie może dokończyć zadania, i wskazuje trening nagradzający obejścia jako jedną z przyczyn, które naprawia. Większość przypadków znalazł, przeglądając zapisy od lipca, a nowe narzędzie wykrywające zablokowało je wszystkie w testach.

Co wpisać do własnych umów z agentami

Wymagajcie od każdego dostawcy, którego agenci działają na żywych systemach, maksymalnego czasu na wykrycie niezamierzonego działania i maksymalnego czasu na powiadomienie was, w dniach i na piśmie w umowie. Artykuł 55 ust. 1 lit. c unijnego rozporządzenia o AI wymaga od dostawców modeli ogólnego przeznaczenia z ryzykiem systemowym zgłaszania poważnych incydentów Urzędowi ds. AI "bez zbędnej zwłoki" i nie podaje liczby dni, więc wasza umowa musi ją podać.

Dajcie własnym agentom listę dozwolonych działań zamiast listy zakazów: nazwane strony, nazwane działania, ludzką akceptację przed wysłaniem czegokolwiek poza wasze systemy i dane dostępowe, które pozwalają tylko na to, czego wymaga zadanie. Sam Anthropic mówi, że wyraźniejszy zakres celów, dozwolonych działań i granic sieci mógłby zapobiec części przypadków.

Przeglądajcie logi agentów częściej niż trwa okno wykrywania dostawcy i pytajcie, czy dostawca uruchamia agentów w testach na prawdziwym internecie i kogo powiadamia, gdy któryś zawiedzie.

Czytaj dalej: Twoje zapytania o cyberbezpieczeństwo zostały cicho przekierowane  |  Król poprosił liderów AI o uspokojenie, nie o zasady