En bil, der mødte en scene, den aldrig havde set
Den 20. juni 2026 rullede en tom Zoox-robotaxi i Las Vegas mod en aktiv brand, som endnu ingen havde spærret af med kegler. Scenen var tyk af røg, og bilen, bygget af Amazons enhed for autonome køretøjer, læste det ikke som en grund til at standse. Den kørte ind i røgen, bremsede hårdt, forsøgte at styre væk og standsede. En fjernoperatør hos Zoox bad derpå køretøjet bakke, og redningsmandskab satte kegler op for at lukke scenen.
Ingen kom til skade, og bilen havde ingen passagerer. Men øjeblikket blottede et hul, som ingen demonstration havde bragt frem: systemet havde lært at behandle en afspærret ulykkesscene som forbudt område, og her var en ulykkesscene, der endnu ikke var afspærret. Den ryddelige udgave, det var trænet på, og den rodede, det mødte, var ikke det samme.
Hvorfor en forvirret bil blev en flådedækkende tilbagekaldelse
Rettelsen bestod ikke i at reparere ét køretøj, men i at opdatere dem alle. Zoox underrettede den amerikanske færdselssikkerhedsmyndighed den 8. juli og meddelte den 17. juli, at det havde sendt en softwareopdatering til hele sin flåde på 105 biler, som tilføjer evnen til at opdage tæt røg ved ulykkesscener og reagere på den. I en autonom flåde kører hver bil den samme model, så hver bil deler den samme blinde vinkel, indtil den blinde vinkel er rettet.
Det er den del, ejere af ethvert AI-system bør dvæle ved. Når jeres logik bor i én delt model i stedet for i mange enkelte menneskers dømmekraft, er et enkelt overset tilfælde ikke en isoleret fejl. Det er en defekt til stede i hver kopi, der venter på den samme udløser. Fordelen er, at én opdatering retter dem alle; ulempen er, at én fejl var i dem alle fra begyndelsen.
Beslutningsfælden: at forveksle demoen med verden
Fejlen her var ikke dårlig ingeniørkunst, men et træningssæt, der var renere end virkeligheden. En model, der får vist tusindvis af tydeligt markerede ulykkesscener, vil se fejlfri ud lige til den dag, den møder en umarkeret. Det sjældne, akavede tilfælde ligger uden for dataene, altså uden for systemets kompetence, og tryghed ved det almindelige tilfælde siger intet om det sjældne.
Ejere falder i den samme fælde, når de bedømmer et AI-værktøj ud fra en poleret leverandørdemo eller et pilotforløb på ryddelige data. Demoen er den afspærrede scene. Det afgørende er, hvad systemet gør ved den uafspærrede: den fejlformede faktura, kunden der formulerer det forkert, røgen det aldrig så. Byg jeres beslutning på den kant, for det er på den kant, omkostningen lander.
Hvad man skal gøre, før man stoler på et autonomt system
Behandl enhver AI-indførelse som en flåde, også når det er én proces. Skriv de virkelige situationer ned, den ikke møder i testen, og opsøg dem med vilje før lanceringen i stedet for at vente på, at de kommer. Hold et menneske i stand til at gribe ind, som Zoox' fjernoperatør gjorde, og udform indgrebsvejen, før I får brug for den, ikke under hændelsen.
Planlæg derpå den tilbagekaldelse, I håber aldrig at skulle køre. Beslut på forhånd, hvordan en rettelse når hver instans, hvor hurtigt og hvem der godkender den, for i et system med delt model er opdateringsmekanismen sikkerhedsmekanismen. De virksomheder, der overlever deres første slemme grænsetilfælde, er dem, der byggede reaktionen før røgen, ikke dem, der improviserede i den.
Læs videre: Jeres tjekkede data var allerede halvt maskine | To AI-giganter vil nu være din integrator
