Rien n'a planté, et cela a coûté 1,8 million

Une réunion le 28 juillet et un chiffre dont personne ne voulait

Le 28 juillet, des ingénieurs seniors d'Amazon ont expliqué à leurs collègues ce qui était arrivé à une série de projets internes d'IA. Le Financial Times en a rapporté le contenu. Un projet utilisait Claude Sonnet, d'Anthropic, pour rapprocher des données d'auteurs et des fiches de commerce en ligne. Il a dépensé 1,8 million de dollars. Il est parti 860 pour cent au-dessus du budget. Il a tourné cinq mois avant d'être repéré, et n'est jamais parti en production. Une équipe a qualifié le schéma de catastrophiquement coûteux.

Deux cas plus modestes l'accompagnaient. Un outil d'audit financier a dépassé d'environ 541 000 dollars. Un projet de logistique est ressorti à quelque 134 000 dollars au-dessus du plan. Un salarié senior d'Amazon a résumé le problème de fond au FT en une phrase: il est difficile de savoir combien coûte quoi que ce soit lié à l'IA. Amazon répond qu'elle expérimente, apprend et améliore son usage de la technologie, qualifie les exemples de choisis à dessein, et met en place des revues obligatoires par les pairs ainsi que des plafonds de dépense sur les projets d'IA.

Commencez par l'arithmétique, car personne ne l'a publiée. Si 1,8 million de dollars représente un dépassement de 860 pour cent, le budget approuvé avoisinait 190 000 dollars. C'est le chiffre qu'un contrôle aurait dû défendre.

Deux mois plus tôt, la même erreur portait un autre costume

Le 29 mai, Amazon a fermé KiroRank, un classement interne sur sa plateforme de développement Kiro qui ordonnait les salariés selon les jetons d'IA consommés. Il avait été mis en place pour pousser l'adoption. Ce qu'il a poussé, c'est une pratique que les salariés ont appelée tokenmaxxing: braquer des agents sur du travail dont personne n'avait besoin, pour que le classement bouge. Dave Treadwell, vice-président senior, a écrit dans une note que le tableau avait été construit avec de bonnes intentions et a demandé de ne pas utiliser l'IA pour le simple plaisir de l'utiliser.

Lisez les deux épisodes comme un seul. En mai, Amazon a récompensé la consommation et a reçu de la consommation. En juillet, elle a découvert une consommation que personne n'avait autorisée et que personne n'avait lue. Le classement et le traitement échappé ne sont pas deux défaillances de discipline distinctes; c'est le même trou, à savoir qu'un compteur tournait sans qu'il existe l'habitude de le relever.

L'instruction est dans le remplacement, pas dans la fermeture. Amazon n'a pas seulement supprimé le classement. Elle a remplacé la métrique par des déploiements normalisés, qui comptent le code assisté par IA qui part réellement en production.

Pourquoi un échec facturé reste invisible

Le logiciel classique annonce ses propres échecs. Une boucle défectueuse épuise la mémoire et le processus meurt, une page dépasse son délai, une alerte se déclenche et quelqu'un est réveillé à trois heures du matin. Un appel de modèle mal configuré ne fait rien de tout cela. Il réussit. Il renvoie une réponse, facture les jetons et repart pour un tour. Il n'y a pas de plantage à détecter parce que, du point de vue de la plateforme, rien n'a échoué, et c'est exactement la condition dans laquelle cinq mois peuvent passer.

Trois éléments étirent ensuite la fenêtre de détection. La facturation est mensuelle, donc la fonction financière voit la forme d'un problème des semaines après la dépense, et la voit agrégée. La tarification est au jeton, donc le coût suit le volume et non le nombre d'instances, qui est l'axe pour lequel l'essentiel de la supervision d'infrastructure a été conçu. Et les agents multiplient les jetons, car une boucle agentique fait de nombreux appels de modèle là où une interface de discussion en fait un.

Pour un exploitant européen, la conséquence est la même quelle que soit la région: le compteur tourne dans le compte cloud, la facture arrive au rythme mensuel, et rien entre les deux ne vous dit que le traitement a cessé d'être utile en mars.

Les contrôles existaient et n'étaient pas activés

C'est la partie inconfortable de l'histoire, et la raison pour laquelle elle relève d'une rubrique de décisions plutôt que de technologie. Les parades étaient disponibles sur la plateforme depuis le début. AWS publie l'inférence par lots à la moitié du prix au jeton du mode à la demande pour les travaux qui n'exigent pas de réponse immédiate, ce qui est exactement le profil d'un rapprochement de fond de cinq mois. Elle propose la mise en cache des invites pour qu'un contexte répété ne soit pas payé au plein tarif à chaque appel. Elle propose des niveaux de modèle moins chers et un routage entre eux. Rien de tout cela n'est exotique et rien n'exigeait de négociation.

Un traitement qui a tourné cinq mois sans qu'une réponse soit urgemment attendue est la charge par lots de manuel. Le faire tourner à la demande n'est pas une défaillance technique, c'est une décision que personne n'a été invité à prendre, parce que la personne qui a configuré le traitement n'était pas celle qui voyait la facture.

Concevez contre cette séparation. Celui qui peut lancer un traitement facturé devrait en voir le coût courant dans l'interface même où il le lance.

Quatre contrôles avant la sortie de votre prochain agent

Fixez un plafond ferme par traitement, pas par compte. Une alerte budgétaire au niveau du compte vous dit que le total a bougé; elle ne vous dit pas quel traitement l'a fait bouger, et quand un budget de compte se déclenche, les cinq mois sont déjà passés. Deuxièmement, exigez à l'approbation une réponse explicite à une question: faut-il y répondre maintenant? Si la réponse est non, c'est une charge par lots et elle doit être tarifée comme telle.

Troisièmement, mettez une date d'expiration sur chaque traitement de longue durée. Une tâche de rapprochement qui tourne depuis mars aurait dû exiger le renouvellement d'un humain en avril. Quatrièmement, mesurez le résultat. Si la note d'un projet est le travail assisté par IA parti en production, alors un déploiement jamais parti vaut zéro quel que soit le nombre de jetons consommés, et il serait apparu à la première revue mensuelle plutôt qu'à la cinquième.

À lire ensuite: Amazon réduit son équipe AGI en pleine année à 200 Md  |  Vos données vérifiées étaient déjà à moitié machine