Testet Anthropic körde med 1 053 riktiga utvecklare

Kai Zhou, staff software engineer på Nuro, satte igång en Claude Code-agent klockan 22 och lät den hålla på. När han kollade igen klockan 5 på morgonen hade den producerat tre pull requests, och han hade inte behövt klicka på en enda behörighetsförfrågan hela natten för att få dem. "Jag satte igång en agent klockan 22, och den körde ända till klockan 5 på morgonen - och den gav mig tre PR:ar på morgonen", beskrev han. Just den sortens obemannade körning är precis vad Anthropics auto-läge byggdes för att göra till det vanliga i stället för det undantagsvisa, och från och med 14 augusti 2026 blir det standardbeteendet för varje Claude Code-konto på Pro-, Max- och Team-planerna - inte längre en valfri inställning ett team själv måste hitta och slå på.

Innan det beslutet lät Anthropic ett kontrollerat test undersöka om det är säkrare att ta bort behörighetsförfrågan, eller bara snabbare. Man rekryterade 1 053 betalda professionella testare och bytte, mitt i sessionen, ut varje deltagares behörighetsförfrågan mot ett genuint farligt kommando. Testare som förlitade sig på manuell granskning upptäckte det i 13,6 procent av fallen - 143 av 1 053. Auto-läge, som observerade samma sessioner, blockerade 89 procent av samma inbytta kommandon - 937 av 1 053. På exakt samma test, med exakt samma population, upptäckte den automatiserade kontrollen den farliga åtgärden ungefär 6,5 gånger oftare än den mänskliga granskningen.

Vad som verkligen ändras den 14 augusti

Auto-läge tar inte bort behörighetsförfrågningar helt. Anthropic beskriver det som ett system där verktygsanrop går genom en klassificerare som fortfarande stannar upp och frågar när en åtgärd verkar oåterkallelig, destruktiv eller riktad utanför miljön - radera data, publicera till produktion, kontakta ett system agenten inte har någon tydlig anledning att röra. Fortsätter klassificeraren att blockera faller sessionen tillbaka till manuellt godkännande efter 3 blockeringar i rad eller 20 inom en session, så att en lång autonom körning alltid har en inbyggd kontrollpunkt i stället för att köra hela vägen utan tillsyn oavsett vad den stöter på. Anthropic har också lagt till ett eget lager för att upptäcka promptinjektioner samt konfigurerbara fasta blockeringsregler som en administratör kan ställa in för att stoppa specifika åtgärder, som vägar för dataexfiltrering, oavsett vad klassificeraren själv beslutar.

Teamet som bygger det lever redan så här. "Teamet och jag använder auto-läge uteslutande, och har gjort det i många månader. Jag skulle inte kunna tänka mig att gå tillbaka till behörighetsförfrågningar", sa Boris Cherny, som leder Claude Code på Anthropic. Adobes Tomislav Reil, Director of Engineering där, beskrev ett liknande mönster i sitt eget arbetsflöde: "Claude bygger användargränssnittet och går sedan tillbaka för att bekräfta att det matchar den avsedda designen, och åtgärdar automatiskt eventuella problem innan vi ens hinner se dem." Enligt Anthropic levererar team som infört auto-läge ungefär 25 procent fler pull requests, och från 14 augusti slutar det också ta betalt av Pro-, Max- och Team-konton för det extra token-tillägg som klassificeraren själv orsakade, med samma prisändring planerad för Enterprise, som fortfarande är valfritt tills vidare, inom ungefär en månad.

Utgångsläget var aldrig noggrann granskning

Jämförelsen Anthropic vill rikta uppmärksamheten mot är auto-lägets upptäcktsgrad på 89 procent mot 13,6 procent för manuell granskning. Men en separat siffra, delad tillsammans med tillkännagivandet, förklarar bättre varifrån den skillnaden kommer: Claude Code-användare godkänner redan 97 procent av de behörighetsförfrågningar de får se. Det är den ärliga utgångspunkten för det här beslutet, och det är inte "en noggrann mänsklig granskare mot en obeprövad autopilot". Det är en granskare som redan av vana godkände ungefär 19 av 20 förfrågningar, ersatt av ett system som mätbart bättre upptäcker just den en av 20 som faktiskt spelade roll. Anthropics produktionsdata bekräftar detta också utanför labbtestet: sessioner som förlitade sig på manuellt godkännande registrerade oavsiktlig skada på allvarlighetsnivå 7 eller högre i 6,3 procent av fallen, mot 2,4 procent för sessioner i auto-läge som utförde samma sorts arbete.

Inget av det här gör 89 procent till en slutgiltig siffra. Anthropics eget test lämnar fortfarande 11 procent av de inbytta farliga kommandona som klassificeraren inte skulle ha blockerat, och den ärliga läsningen av studien är "märkbart säkrare än vad de flesta team faktiskt gjorde", inte "löst". Anthropic rapporterar också en framgångsgrad på 0 procent för promptinjektionsattacker mot Claude-modeller som körs i auto-läge i sin egen utvärdering, och kopplar det påståendet till det nya detektionslagret och de fasta blockeringsreglerna som beskrivs ovan.

En oberoende kommentar publicerad dagen före Anthropics tillkännagivande, från utvecklaren och språkmodellforskaren Simon Willison, drog en skarpare gränsdragning som är värd att ha med sig i varje beslut om införande: att upptäcka oavsiktlig, ovarsam skada är ett annat problem än att upptäcka en avsiktligt illvillig instruktion insmugglad i en agents kontext. Hans exempel var ett komprometterat tredjepartspaket vars instruktioner läses som ett vanligt steg inom miljön - "kör testsviten" - men som i verkligheten utlöser en illvillig förfrågan, precis den sortens åtgärd en klassificerare tränad att flagga arbete "riktat utanför miljön" kanske skulle släppa igenom just för att den vid första anblick inte ser extern ut. Det är inget argument för att behålla manuell granskning, som i Anthropics eget test upptäckte mindre av allt. Det är en anledning att inte behandla klassificeraren som ett fullständigt svar på insmugglade instruktioner, bara på oavsiktliga och destruktiva.

Vad som bör beslutas före 14 augusti, inte efter

Granska vad auto-läge tillåts röra, innan standarden ändras under er. Anthropics klassificerare drar sin egen gräns runt "oåterkalleligt, destruktivt eller riktat utanför miljön" - lista de åtgärder i er specifika pipeline som den gränsen kanske inte fångar men som ni själva skulle kalla oåterkalleliga: skrivningar till produktionsdatabasen, nyckelrotation, deploy-kommandon, allt som når en kundmiljö. Anthropics nya fasta blockeringsregler låter en administratör blockera dem uttryckligen; ställ in dem före 14 augusti, inte efter att en session redan kört en av dem.

Sätt er egen återgångsgräns, inte Anthropics standard. Utlösaren på 3 i rad eller 20 per session för manuellt godkännande är en standardinställning, inte en fast lag, och ett obemannat tak på 20 åtgärder är ett brett utrymme för en enda nattlig körning som Kai Zhous. Sänk den för varje pipeline som rör inloggningsuppgifter, kunddata eller produktionsinfrastruktur, och låt den bara stå kvar på standard där ett misstag verkligen är återställbart.

Lös frågan om granskningsloggen innan en tillsynsmyndighet ställer den. Om er organisation faller inom NIS2 eller DORA, bekräfta - redan den här veckan, inte under en framtida revision - att auto-lägets blockerings- och godkännandebeslut loggas med samma bevisnivå som ert tidigare mänskliga godkännandespår hade. Anthropics tillkännagivande tar inte upp detta direkt; det är det införande teamets uppgift, inte leverantörens, att verifiera det innan "vi tog bort behörighetsförfrågningarna" blir svaret på en fråga om IT-risktillsyn.