Et møde den 28. juli og et tal, ingen ville have

Den 28. juli orienterede ledende Amazon-ingeniører kollegerne om, hvad der var sket med en række interne AI-projekter. Financial Times berettede om indholdet. Ét projekt havde brugt Anthropics Claude Sonnet til at matche forfatteroplysninger mod opslag i netbutikken. Det brugte 1,8 millioner dollar. Det lå 860 procent over budget. Det kørte fem måneder, før nogen fangede det, og det kom aldrig i drift. Et hold beskrev mønstret som katastrofalt dyrt.

To mindre sager fulgte med. Et værktøj til finansiel revision overskred med omkring 541.000 dollar. Et logistikprojekt landede cirka 134.000 dollar over planen. En ledende Amazon-medarbejder sammenfattede det underliggende problem over for FT i én sætning: det er svært at finde ud af, hvad noget som helst AI-relateret koster. Amazon svarer, at selskabet eksperimenterer, lærer og forbedrer sin brug af teknologien, kalder eksemplerne håndplukkede og indfører obligatorisk kollegial gennemgang samt udgiftslofter på AI-projekter.

Begynd med regnestykket, for ingen offentliggjorde det. Hvis 1,8 millioner dollar er en overskridelse på 860 procent, lå det godkendte budget omkring 190.000 dollar. Det er tallet, en kontrol burde have forsvaret.

To måneder før bar den samme fejl et andet kostume

Den 29. maj lukkede Amazon KiroRank, en intern rangliste på udviklerplatformen Kiro, der sorterede medarbejdere efter forbrugte AI-tokens. Den var sat op for at fremme udbredelsen. Det, den fremmede, var en praksis, medarbejderne kaldte tokenmaxxing: at sætte agenter på arbejde, ingen havde brug for, så placeringen flyttede sig. Dave Treadwell, senior vice president, skrev til medarbejderne i et notat, at ranglisten var bygget med gode hensigter, og bad folk om ikke at bruge AI blot for at bruge AI.

Læs de to episoder som én. I maj belønnede Amazon forbrug og fik forbrug. I juli opdagede selskabet forbrug, ingen havde godkendt, og ingen havde læst. Ranglisten og det løbske job er ikke adskilte disciplinsvigt; det er det samme hul, nemlig at der kørte en måler, og der ikke fandtes en vane med at aflæse den.

Instruktionen ligger i erstatningen, ikke i lukningen. Amazon slettede ikke bare ranglisten. Selskabet erstattede målet med normaliserede udrulninger, som tæller AI-assisteret kode, der rent faktisk kommer i drift.

Hvorfor et afregnet svigt forbliver usynligt

Almindelig software melder selv om sine fejl. En dårlig løkke opbruger hukommelsen, og processen dør, en side løber ud i timeout, en alarm går, og nogen bliver vækket klokken tre om natten. Et fejlkonfigureret modelkald gør intet af det. Det lykkes. Det returnerer et svar, afregner tokens og kører en runde til. Der er intet nedbrud at opdage, for set fra platformen gik intet galt, og det er præcis den tilstand, hvor fem måneder kan gå.

Tre ting strækker derefter opdagelsesvinduet. Faktureringen er månedlig, så økonomifunktionen ser formen på et problem uger efter forbruget, og ser det samlet. Prisen er per token, så omkostningen skalerer med mængde frem for med antal instanser, og sidstnævnte er den akse, det meste infrastrukturovervågning er bygget til. Og agenter mangedobler tokens, fordi en agentisk løkke laver mange modelkald, hvor en chatflade laver ét.

For en europæisk operatør er følgen den samme uanset region: måleren kører i skykontoen, fakturaen kommer i månedsrytme, og intet derimellem fortæller dig, at jobbet holdt op med at være nyttigt i marts.

Kontrollerne fandtes og var ikke slået til

Det er den ubehagelige del af historien, og grunden til at den hører hjemme i en beslutningsspalte frem for en teknologispalte. Modtrækkene lå på platformen hele tiden. AWS udgiver batchinferens til halv tokenpris i forhold til efter behov for arbejde, der ikke kræver svar med det samme, hvilket er præcis profilen for en fem måneder lang matchning i baggrunden. Der tilbydes promptcaching, så en gentaget kontekst ikke betales til fuld takst ved hvert kald. Der tilbydes billigere modelniveauer og routing mellem dem. Intet af det er eksotisk, og intet krævede en forhandling.

Et job, der kørte fem måneder, uden at et svar hastede, er lærebogens batchlast. At køre det efter behov er ikke et teknisk svigt, det er en beslutning, ingen blev bedt om at træffe, fordi den, der konfigurerede jobbet, ikke var den, der så fakturaen.

Design imod den adskillelse. Den, der kan starte et afregnet job, bør se dets løbende omkostning i samme flade, hvor jobbet startes.

Fire kontroller, før din næste agent går i drift

Sæt et hårdt loft per job, ikke per konto. En budgetalarm på kontoniveau fortæller dig, at totalen flyttede sig; den fortæller ikke, hvilket job der flyttede den, og når et kontobudget udløser, er de fem måneder allerede gået. For det andet, kræv et udtrykkeligt svar på ét spørgsmål ved godkendelsen: skal dette besvares nu? Er svaret nej, er det en batchlast og bør prissættes som en.

For det tredje, sæt udløb på hvert langvarigt job. En matchopgave, der har kørt siden marts, burde have krævet et menneske til at forny den i april. For det fjerde, mål resultatet. Er et projekts score det AI-assisterede arbejde, der kom i drift, så scorer en udrulning, der aldrig kom i drift, nul uanset hvor mange tokens den brugte, og den ville være dukket op ved den første månedlige gennemgang frem for den femte.

Læs videre: Amazon skærer sit AGI-team i et 200-milliarders-år  |  Jeres tjekkede data var allerede halvt maskine