Testen Anthropic kørte med 1.053 rigtige udviklere

Kai Zhou, staff software engineer hos Nuro, satte en Claude Code-agent i gang klokken 22 og lod den køre. Da han tjekkede igen klokken 5 om morgenen, havde den produceret tre pull requests, og han havde ikke skullet klikke på en eneste tilladelsesanmodning hele natten for at få dem. "Jeg satte en agent i gang klokken 22, og den kørte lige til klokken 5 om morgenen - og den gav mig tre PR'er om morgenen", fortalte han. Netop den slags ubemandet kørsel er, hvad Anthropics auto-tilstand blev bygget til at gøre til det almindelige i stedet for det usædvanlige, og fra 14. august 2026 bliver det standardadfærden for enhver Claude Code-konto på Pro-, Max- og Team-planerne - ikke længere en valgfri indstilling, et team selv skal finde og slå til.

Før den beslutning kørte Anthropic en kontrolleret test for at undersøge, om det at fjerne tilladelsesanmodningen rent faktisk er mere sikkert eller bare hurtigere. Man rekrutterede 1.053 betalte professionelle testere og indsatte midt i sessionen en reelt farlig kommando i den tilladelsesanmodning, hver af dem så. Testere, der stolede på manuel gennemgang, opdagede den i 13,6 procent af tilfældene - 143 ud af 1.053. Auto-tilstand, der observerede de samme sessioner, blokerede 89 procent af de samme indsatte kommandoer - 937 ud af 1.053. I den samme præcise test, med den samme præcise population, opdagede den automatiserede kontrol den farlige handling omkring 6,5 gange oftere end den menneskelige gennemgang.

Hvad der reelt ændrer sig 14. august

Auto-tilstand fjerner ikke tilladelsesanmodninger helt. Anthropic beskriver det som et system, der sender værktøjskald gennem en klassifikator, som stadig stopper og spørger, når en handling ser irreversibel, destruktiv eller rettet uden for miljøet ud - slette data, publicere til produktion, kontakte et system, agenten ikke har nogen klar grund til at røre. Bliver klassifikatoren ved med at blokere, falder sessionen tilbage til manuel godkendelse efter 3 blokeringer i træk eller 20 blokeringer inden for en session, så en lang autonom kørsel altid har et indbygget kontrolpunkt i stedet for at køre helt til ende uden opsyn, uanset hvad den støder på. Anthropic har også tilføjet et dedikeret lag til at opdage prompt-injektioner samt konfigurerbare faste afvisningsregler, en administrator kan sætte op for at blokere bestemte handlinger, som veje til dataudtrækning, uanset hvad klassifikatoren selv beslutter.

Teamet bag det lever allerede sådan. "Teamet og jeg bruger udelukkende auto-tilstand, og har gjort det i mange måneder. Jeg kunne ikke forestille mig at gå tilbage til tilladelsesanmodninger", sagde Boris Cherny, der leder Claude Code hos Anthropic. Adobes Tomislav Reil, Director of Engineering dér, beskrev et lignende mønster i sin egen arbejdsgang: "Claude bygger brugergrænsefladen og går så tilbage for at bekræfte, at den matcher det tilsigtede design, og retter automatisk eventuelle fejl, før vi overhovedet når at se dem." Ifølge Anthropic leverer teams, der har taget auto-tilstand i brug, omkring 25 procent flere pull requests, og fra 14. august stopper det også med at opkræve Pro-, Max- og Team-konti det ekstra token-tillæg, som klassifikatoren selv gav anledning til, med samme prisændring planlagt for Enterprise, der forbliver valgfri indtil videre, inden for cirka en måned.

Det egentlige udgangspunkt var aldrig grundig gennemgang

Den sammenligning, Anthropic gerne vil have opmærksomhed på, er auto-tilstandens opdagelsesrate på 89 procent mod 13,6 procent for manuel gennemgang. Men et separat tal, offentliggjort sammen med annonceringen, siger mere om, hvorfor den forskel opstår: Claude Code-brugere godkender allerede 97 procent af de tilladelsesanmodninger, de får vist. Det er det ærlige udgangspunkt for denne beslutning, og det er ikke "en omhyggelig menneskelig kontrollant mod en uafprøvet autopilot". Det er en kontrollant, der af vane allerede godkendte omkring 19 ud af 20 anmodninger, erstattet af et system, der måleligt er bedre til at opdage den ene ud af 20, der reelt betød noget. Anthropics produktionsdata bakker dette op også uden for laboratorietesten: sessioner, der stolede på manuel godkendelse, registrerede utilsigtet skade på alvorlighedsniveau 7 eller derover i 6,3 procent af tilfældene, mod 2,4 procent for sessioner i auto-tilstand, der udførte samme slags arbejde.

Intet af dette gør 89 procent til et endeligt tal. Anthropics egen test efterlader stadig 11 procent af de indsatte farlige kommandoer, som klassifikatoren ikke ville have blokeret, og den ærlige læsning af undersøgelsen er "mærkbart mere sikkert end det, de fleste teams reelt gjorde", ikke "løst". Anthropic rapporterer også en succesrate på 0 procent for prompt-injektionsangreb mod Claude-modeller, der kører i auto-tilstand, i sin egen evaluering, og kobler den påstand til det nye detektionslag og de faste afvisningsregler beskrevet ovenfor.

En uafhængig kommentar, offentliggjort en dag før Anthropics annoncering, fra udvikleren og sprogmodel-forskeren Simon Willison, trak et skarpere skel, det er værd at have med i enhver beslutning om at tage det i brug: at opdage tilfældig, skødesløs skade er et andet problem end at opdage en bevidst ondsindet instruks smuglet ind i en agents kontekst. Hans eksempel var en kompromitteret tredjepartspakke, hvis instrukser læser som et almindeligt skridt inden for miljøet - "kør testsuiten" - men som i virkeligheden udløser et ondsindet opslag, netop den slags handling en klassifikator trænet i at flage arbejde "rettet uden for miljøet" kunne finde på at vinke igennem, netop fordi den umiddelbart ikke ser ekstern ud. Det er ikke et argument for at beholde manuel gennemgang, som i Anthropics egen test opdagede mindre af alt. Det er en grund til ikke at behandle klassifikatoren som et fuldstændigt svar på indsmuglede instrukser, kun på tilfældige og destruktive.

Hvad der skal besluttes før 14. august, ikke bagefter

Gennemgå, hvad auto-tilstand må røre ved, før standarden ændrer sig under jer. Anthropics klassifikator trækker sin egen grænse omkring "irreversibel, destruktiv eller rettet uden for miljøet" - list de handlinger i jeres konkrete pipeline, den grænse måske ikke fanger, men som I selv ville kalde irreversible: skrivninger til produktionsdatabasen, nøglerotation, deploy-kommandoer, alt, hvad der når et kundemiljø. Anthropics nye faste afvisningsregler lader en administrator blokere dem eksplicit; sæt dem op før 14. august, ikke efter en session allerede har udført en af dem.

Fastsæt jeres egen tilbagefaldsgrænse, ikke Anthropics standard. Udløseren på 3 i træk eller 20 pr. session for manuel godkendelse er en standardindstilling, ikke en fast lov, og et ubemandet loft på 20 handlinger er et bredt råderum for en enkelt natlig kørsel som Kai Zhous. Sænk den for enhver pipeline, der rører legitimationsoplysninger, kundedata eller produktionsinfrastruktur, og lad den kun stå på standard, hvor en fejl reelt kan rulles tilbage.

Afklar spørgsmålet om revisionsloggen, før en tilsynsmyndighed spørger. Hvis jeres organisation falder inden for NIS2 eller DORA, så bekræft - denne uge, ikke under en fremtidig revision - at auto-tilstandens blokerings- og godkendelsesbeslutninger logges med samme bevismæssige detaljegrad som jeres tidligere menneskelige godkendelsesspor. Anthropics annoncering adresserer ikke dette direkte; det er det indførende teams opgave, ikke leverandørens, at bekræfte det, før "vi fjernede tilladelsesanmodningerne" bliver svaret på et spørgsmål om IT-risikotilsyn.

Læs videre: En enkelt besked nåede SSH-nøglerne  |  Den første AI-agentplatform CISA gør til pligtpatch