De test die Anthropic uitvoerde met 1.053 echte ontwikkelaars

Kai Zhou, staff software engineer bij Nuro, startte om 22.00 uur een Claude Code-agent en liet die doorwerken. Toen hij om 5.00 uur 's ochtends weer keek, had de agent drie pull requests opgeleverd, en had hij de hele nacht geen enkel toestemmingsverzoek hoeven goedkeuren om ze te krijgen. "Ik startte om 22.00 uur een agent en die bleef doorlopen tot 5.00 uur 's ochtends, en 's ochtends leverde hij me drie PR's op", vertelde hij. Precies dat soort onbewaakte run is waarvoor Anthropics auto-modus is gebouwd om gewoon te maken in plaats van uitzonderlijk, en vanaf 14 augustus 2026 wordt het het standaardgedrag voor elk Claude Code-account op de plannen Pro, Max en Team - geen optionele instelling meer die een team eerst moet vinden en inschakelen.

Voordat die keuze werd gemaakt, liet Anthropic in een gecontroleerde test onderzoeken of het weglaten van het toestemmingsverzoek werkelijk veiliger is of alleen sneller. Er werden 1.053 betaalde professionele testers gerekruteerd, en halverwege de sessie werd telkens een echt gevaarlijk commando ingevoegd in het toestemmingsverzoek dat elk van hen te zien kreeg. Testers die op handmatige controle vertrouwden, merkten het in 13,6 procent van de gevallen op - 143 van de 1.053. Auto-modus, die dezelfde sessies observeerde, blokkeerde 89 procent van diezelfde ingevoegde commando's - 937 van de 1.053. Bij exact dezelfde test, met exact dezelfde groep, onderschepte de geautomatiseerde controle de gevaarlijke actie ongeveer 6,5 keer vaker dan de menselijke controle.

Wat er op 14 augustus echt verandert

Auto-modus schaft toestemmingsverzoeken niet volledig af. Anthropic beschrijft het als een systeem dat tool-aanroepen door een classifier leidt die nog altijd stopt en vraagt wanneer een actie onomkeerbaar, destructief of gericht op iets buiten de eigen omgeving lijkt - gegevens verwijderen, naar productie pushen, contact opnemen met een systeem waar de agent geen duidelijke reden toe heeft. Blijft de classifier blokkeren, dan valt de sessie terug op handmatige goedkeuring na 3 opeenvolgende blokkades of 20 binnen een sessie, zodat een lange autonome run altijd een ingebouwd controlepunt heeft in plaats van ongecontroleerd door te lopen wat er ook gebeurt. Anthropic heeft ook een aparte laag voor het detecteren van prompt-injecties toegevoegd, plus configureerbare harde weigerregels waarmee een beheerder specifieke acties kan blokkeren, zoals paden voor gegevensexfiltratie, ongeacht wat de classifier zelf beslist.

Het team dat het bouwt, werkt al zo. "Het team en ik gebruiken auto-modus uitsluitend, en dat al vele maanden. Ik zou me niet kunnen voorstellen om terug te gaan naar toestemmingsverzoeken", zei Boris Cherny, die bij Anthropic leiding geeft aan Claude Code. Tomislav Reil, Director of Engineering bij Adobe, beschreef een vergelijkbaar patroon in zijn eigen workflow: "Claude bouwt de gebruikersinterface en controleert daarna zelf of die overeenkomt met het beoogde ontwerp, en lost problemen automatisch op voordat wij ze zelfs maar zien." Volgens Anthropic leveren teams die auto-modus gebruiken ongeveer 25 procent meer pull requests op, en vanaf 14 augustus rekent het ook geen extra token-toeslag meer aan Pro-, Max- en Team-accounts voor het werk dat de classifier zelf veroorzaakte, met dezelfde prijswijziging gepland voor Enterprise, dat voorlopig optioneel blijft, binnen ongeveer een maand.

Het echte uitgangspunt was nooit zorgvuldige controle

De vergelijking waar Anthropic de aandacht op wil vestigen, is het detectiepercentage van auto-modus van 89 procent tegenover 13,6 procent bij handmatige controle. Maar een apart cijfer, gedeeld naast de aankondiging, verklaart beter waar dat verschil vandaan komt: Claude Code-gebruikers keuren al 97 procent van de toestemmingsverzoeken die ze te zien krijgen goed. Dat is het eerlijke uitgangspunt voor deze beslissing, en het is niet "een zorgvuldige menselijke controleur tegenover een onbewezen automatische piloot". Het is een controleur die uit gewoonte al ongeveer 19 van de 20 verzoeken goedkeurde, vervangen door een systeem dat aantoonbaar beter is in het herkennen van die ene op de 20 die er echt toe deed. Anthropics productiegegevens onderbouwen dit ook buiten de labtest: sessies met handmatige goedkeuring registreerden onbedoelde schade van ernstniveau 7 of hoger in 6,3 procent van de gevallen, tegenover 2,4 procent bij sessies met auto-modus die vergelijkbaar werk deden.

Niets daarvan maakt 89 procent een definitief cijfer. Anthropics eigen test laat nog altijd 11 procent van de ingevoegde gevaarlijke commando's over die de classifier niet had geblokkeerd, en de eerlijke lezing van het onderzoek is "aanzienlijk veiliger dan wat de meeste teams in de praktijk deden", niet "opgelost". Anthropic meldt in zijn eigen evaluatie ook een slagingspercentage van 0 procent voor prompt-injectieaanvallen tegen Claude-modellen die in auto-modus draaien, en koppelt die bewering aan de nieuwe detectielaag en de hierboven beschreven harde weigerregels.

Onafhankelijk commentaar, gepubliceerd een dag voor Anthropics aankondiging, van ontwikkelaar en LLM-onderzoeker Simon Willison, trok een scherper onderscheid dat het waard is om mee te nemen bij elke adoptiebeslissing: het herkennen van toevallige, onoplettende schade is een ander probleem dan het herkennen van een opzettelijk kwaadaardige instructie die in de context van een agent is gesmokkeld. Zijn voorbeeld was een gecompromitteerd extern pakket waarvan de instructies lezen als een gewone stap binnen de omgeving - "voer de testsuite uit" - maar dat in werkelijkheid een kwaadaardige aanvraag activeert, precies het soort actie dat een classifier die getraind is om werk "gericht buiten de eigen omgeving" te signaleren, juist zou kunnen doorlaten omdat het op het eerste gezicht niet extern lijkt. Dat is geen argument om handmatige controle te behouden, die in Anthropics eigen test overal minder onderschepte. Het is wel een reden om de classifier niet te beschouwen als een volledig antwoord op geïnjecteerde instructies, maar alleen op toevallige en destructieve.

Wat te beslissen voor 14 augustus, niet erna

Breng in kaart wat auto-modus mag aanraken, voordat de standaardinstelling onder u verandert. Anthropics classifier trekt zijn eigen grens rond "onomkeerbaar, destructief of gericht buiten de eigen omgeving" - som de acties in uw specifieke pipeline op die deze grens misschien niet vangt, maar die u zelf onomkeerbaar zou noemen: schrijfacties naar de productiedatabase, sleutelrotatie, deploy-commando's, alles wat een klantomgeving bereikt. Anthropics nieuwe harde weigerregels laten een beheerder toe die expliciet te blokkeren; stel ze in voor 14 augustus, niet nadat een sessie er al een heeft uitgevoerd.

Stel uw eigen terugvaldrempel in, niet die van Anthropic standaard. De trigger van 3 opeenvolgende of 20 per sessie voor handmatige goedkeuring is een standaardinstelling, geen vaste wet, en een onbewaakt plafond van 20 acties is een ruime marge voor een enkele nachtelijke run zoals die van Kai Zhou. Verlaag die voor elke pipeline die met inloggegevens, klantgegevens of productie-infrastructuur werkt, en laat de standaard alleen staan waar een fout werkelijk herstelbaar is.

Los de vraag over het auditlog op voordat een toezichthouder ernaar vraagt. Als uw organisatie binnen het bereik van NIS2 of DORA valt, bevestig dan - deze week, niet tijdens een toekomstige audit - dat de blokkeer- en toestemmingsbeslissingen van auto-modus worden vastgelegd met hetzelfde bewijsniveau als uw eerdere menselijke goedkeuringsspoor. Anthropics aankondiging gaat hier niet rechtstreeks op in; het is aan het team dat de tool invoert, niet aan de leverancier, om dit te verifieren voordat "we hebben de toestemmingsverzoeken verwijderd" het antwoord wordt op een vraag over ICT-risicotoezicht.

Lees hierna: Een bericht bereikte de SSH-sleutels  |  Het eerste AI-agentplatform dat CISA verplicht laat patchen