Test, który Anthropic przeprowadził na 1053 prawdziwych programistach

Kai Zhou, staff software engineer w Nuro, uruchomił agenta Claude Code o godzinie 22 i zostawił go do pracy. Gdy sprawdził ponownie o 5 rano, agent wytworzył trzy pull requesty, a on przez całą noc nie musiał zatwierdzić ani jednej prośby o zgodę, żeby je otrzymać. "Uruchomiłem agenta o 22 i działał aż do 5 rano - a rano dał mi trzy PR-y", opowiedział. Właśnie taki nienadzorowany przebieg pracy tryb auto Anthropic miał uczynić czymś zwyczajnym, a nie wyjątkowym, a od 14 sierpnia 2026 staje się on domyślnym zachowaniem każdego konta Claude Code w planach Pro, Max i Team - a nie opcjonalnym ustawieniem, które zespół musi sam znaleźć i włączyć.

Zanim podjęto tę decyzję, Anthropic przeprowadził kontrolowany test, aby sprawdzić, czy usunięcie prośby o zgodę jest rzeczywiście bezpieczniejsze, czy tylko szybsze. Zrekrutowano 1053 płatnych profesjonalnych testerów i w połowie sesji podstawiono naprawdę niebezpieczne polecenie w miejsce prośby o zgodę, którą widział każdy z nich. Testerzy polegający na ręcznej weryfikacji wychwycili je w 13,6 procent przypadków - 143 na 1053. Tryb auto, obserwując te same sesje, zablokował 89 procent tych samych podstawionych poleceń - 937 na 1053. W dokładnie tym samym teście, na dokładnie tej samej populacji, automatyczna kontrola wychwyciła niebezpieczne działanie mniej więcej 6,5 raza częściej niż weryfikacja człowieka.

Co naprawdę zmienia się 14 sierpnia

Tryb auto nie usuwa próśb o zgodę całkowicie. Anthropic opisuje go jako system kierujący wywołania narzędzi przez klasyfikator, który nadal zatrzymuje się i pyta, gdy działanie wygląda na nieodwracalne, destrukcyjne lub skierowane poza środowisko - usuwanie danych, publikowanie na produkcji, kontaktowanie się z systemem, którego agent nie ma wyraźnego powodu dotykać. Jeśli klasyfikator nadal blokuje, sesja wraca do ręcznego zatwierdzania po 3 kolejnych blokadach lub 20 w ramach jednej sesji, dzięki czemu długi autonomiczny przebieg zawsze ma wbudowany punkt kontrolny, zamiast działać bez nadzoru do końca, bez względu na to, na co natrafi. Anthropic dodał także dedykowaną warstwę wykrywania wstrzykiwania poleceń oraz konfigurowalne sztywne reguły odmowy, które administrator może ustawić, aby blokować konkretne działania, takie jak ścieżki wyprowadzania danych, niezależnie od tego, co zdecyduje sam klasyfikator.

Zespół, który go buduje, już tak pracuje. "Zespół i ja korzystamy z trybu auto wyłącznie, i to od wielu miesięcy. Nie wyobrażam sobie powrotu do próśb o zgodę", powiedział Boris Cherny, który kieruje Claude Code w Anthropic. Tomislav Reil z Adobe, tamtejszy Director of Engineering, opisał podobny wzorzec we własnym procesie pracy: "Claude buduje interfejs użytkownika, a następnie wraca, by sprawdzić, czy odpowiada zamierzonemu projektowi, automatycznie naprawiając wszelkie problemy, zanim w ogóle je zobaczymy". Według Anthropic zespoły korzystające z trybu auto dostarczają około 25 procent więcej pull requestów, a od 14 sierpnia przestaje ono także pobierać od kont Pro, Max i Team dodatkową opłatę za tokeny, którą generował sam klasyfikator, przy czym ta sama zmiana cen jest planowana dla Enterprise, które na razie pozostaje opcjonalne, w ciągu mniej więcej miesiąca.

Prawdziwy punkt wyjścia nigdy nie był staranną weryfikacją

Porównanie, na które Anthropic chce zwrócić uwagę, to skuteczność wykrywania trybu auto na poziomie 89 procent wobec 13,6 procent przy ręcznej weryfikacji. Ale odrębna liczba, podana razem z zapowiedzią, lepiej tłumaczy, skąd bierze się ta różnica: użytkownicy Claude Code już teraz zatwierdzają 97 procent widzianych przez siebie próśb o zgodę. To uczciwy punkt wyjścia dla tej decyzji, i nie chodzi o "starannego ludzkiego recenzenta kontra niesprawdzonego autopilota". To recenzent, który z przyzwyczajenia zatwierdzał już około 19 na 20 próśb, zastąpiony przez system mierzalnie lepszy w wykrywaniu tej jednej na 20, która naprawdę miała znaczenie. Dane produkcyjne Anthropic potwierdzają to także poza testem laboratoryjnym: sesje oparte na ręcznym zatwierdzaniu odnotowały niezamierzone szkody na poziomie powagi 7 lub wyższym w 6,3 procent przypadków, wobec 2,4 procent dla sesji w trybie auto wykonujących podobną pracę.

Nic z tego nie czyni 89 procent liczbą ostateczną. Własny test Anthropic wciąż pozostawia 11 procent podstawionych niebezpiecznych poleceń, których klasyfikator by nie zablokował, a uczciwa interpretacja badania brzmi "zauważalnie bezpieczniej niż to, co większość zespołów robiła w praktyce", a nie "rozwiązane". Anthropic w swojej własnej ocenie podaje także 0-procentową skuteczność ataków polegających na wstrzykiwaniu poleceń wobec modeli Claude działających w trybie auto i łączy to twierdzenie z nową warstwą wykrywania oraz opisanymi wyżej sztywnymi regułami odmowy.

Niezależny komentarz opublikowany dzień przed zapowiedzią Anthropic, autorstwa programisty i badacza modeli językowych Simona Willisona, wyznaczył ostrzejszą granicę, wartą uwzględnienia w każdej decyzji o wdrożeniu: wykrywanie przypadkowej, nieostrożnej szkody to inny problem niż wykrywanie celowo złośliwej instrukcji przemyconej w kontekście agenta. Jego przykładem był skompromitowany pakiet zewnętrzny, którego instrukcje brzmią jak zwykły krok wewnątrz środowiska - "uruchom zestaw testów" - a w rzeczywistości uruchamiają złośliwe żądanie, dokładnie taki rodzaj działania, który klasyfikator wytrenowany do oznaczania pracy "skierowanej poza środowisko" mógłby przepuścić właśnie dlatego, że na pierwszy rzut oka nie wygląda zewnętrznie. To nie jest argument za utrzymaniem ręcznej weryfikacji, która we własnym teście Anthropic wychwyciła mniej wszystkiego. To powód, by nie traktować klasyfikatora jako pełnej odpowiedzi na przemycone instrukcje, a jedynie na przypadkowe i destrukcyjne.

Co zdecydować przed 14 sierpnia, a nie po

Sprawdźcie, czego tryb auto może dotykać, zanim domyślne ustawienie zmieni się pod wami. Klasyfikator Anthropic wyznacza własną granicę wokół pojęć "nieodwracalne, destrukcyjne lub skierowane poza środowisko" - wypiszcie działania w waszym konkretnym pipeline, których ta granica może nie objąć, a które sami uznalibyście za nieodwracalne: zapisy do bazy danych produkcyjnych, rotacje kluczy, polecenia wdrożenia, wszystko, co dociera do środowiska klienta. Nowe sztywne reguły odmowy Anthropic pozwalają administratorowi jawnie je zablokować; ustawcie je przed 14 sierpnia, a nie po tym, jak sesja już jedno z nich wykona.

Ustalcie własny próg awaryjnego powrotu do ręcznej zgody, a nie domyślny próg Anthropic. Wyzwalacz 3 kolejnych blokad lub 20 w ramach sesji dla ręcznego zatwierdzania to ustawienie domyślne, a nie sztywne prawo, a nienadzorowany limit 20 działań to szeroki margines dla pojedynczego nocnego przebiegu, takiego jak u Kai Zhou. Obniżcie go dla każdego pipeline dotykającego danych uwierzytelniających, danych klientów lub infrastruktury produkcyjnej, a domyślną wartość zostawcie tylko tam, gdzie błąd jest naprawdę odwracalny.

Rozstrzygnijcie kwestię dziennika audytowego, zanim zapyta o to regulator. Jeśli wasza organizacja podlega NIS2 lub DORA, potwierdźcie - jeszcze w tym tygodniu, a nie podczas przyszłego audytu - że decyzje blokujące i zezwalające trybu auto są rejestrowane z takim samym poziomem szczegółowości dowodowej, jaki miał wasz wcześniejszy ślad ludzkiego zatwierdzania. Zapowiedź Anthropic nie odnosi się do tego wprost; zweryfikowanie tego to zadanie zespołu wdrażającego narzędzie, a nie dostawcy, zanim "usunęliśmy prośby o zgodę" stanie się odpowiedzią na pytanie o nadzór nad ryzykiem teleinformatycznym.

Czytaj dalej: Jedna wiadomość sięgnęła kluczy SSH  |  Pierwsza platforma agentów AI, którą CISA każe pilnie załatać