Auto, które napotkało scenę, jakiej nigdy nie widziało

20 czerwca 2026 roku pusta robotaksówka Zoox w Las Vegas podjechała ku czynnemu pożarowi, którego nikt jeszcze nie odgrodził pachołkami. Scena była gęsta od dymu, a auto, zbudowane przez dział pojazdów autonomicznych Amazona, nie odczytało tego jako powodu do zatrzymania. Wjechało w dym, ostro zahamowało, próbowało odbić i stanęło. Zdalny operator Zoox kazał następnie pojazdowi cofnąć, a ratownicy ustawili pachołki, by zamknąć scenę.

Nikt nie ucierpiał, a auto nie wiozło pasażerów. Ale ta chwila obnażyła lukę, której żadna demonstracja nie wydobyła: system nauczył się traktować odgrodzoną scenę ratunkową jako zakazaną, a tu była scena ratunkowa jeszcze nieodgrodzona. Uporządkowana wersja, na której go trenowano, i chaotyczna, którą napotkał, to nie było to samo.

Dlaczego jedno zdezorientowane auto stało się wycofaniem całej floty

Poprawką nie była naprawa jednego pojazdu, lecz aktualizacja ich wszystkich. Zoox powiadomił amerykańskiego regulatora bezpieczeństwa drogowego 8 lipca i ogłosił 17 lipca, że wysłał aktualizację oprogramowania do całej floty 105 aut, dodającą zdolność wykrywania gęstego dymu na scenach ratunkowych i reagowania na niego. W autonomicznej flocie każde auto uruchamia ten sam model, więc każde auto dzieli ten sam martwy punkt, dopóki martwy punkt nie zostanie usunięty.

To ta część, przy której właściciele dowolnego systemu AI powinni się zatrzymać. Gdy wasza logika mieszka w jednym wspólnym modelu, a nie w osądzie wielu odrębnych ludzi, pojedynczy pominięty przypadek nie jest odosobnionym błędem. To wada obecna w każdej kopii, czekająca na ten sam wyzwalacz. Zaletą jest to, że jedna aktualizacja naprawia wszystkie; wadą, że jeden błąd tkwił we wszystkich od początku.

Pułapka decyzyjna: mylenie demonstracji ze światem

Awaria nie była tu złą inżynierią, lecz zbiorem treningowym czystszym niż rzeczywistość. Model, któremu pokazano tysiące dobrze oznaczonych scen ratunkowych, będzie wyglądał nienagannie aż do dnia, w którym napotka nieoznaczoną. Rzadki, niewygodny przypadek leży poza danymi, więc poza kompetencją systemu, a pewność w częstym przypadku nie mówi nic o rzadkim.

Właściciele wpadają w tę samą pułapkę, gdy oceniają narzędzie AI po dopracowanej demonstracji dostawcy albo pilotażu na uporządkowanych danych. Demonstracja to scena odgrodzona. Liczy się to, co system robi na nieodgrodzonej: błędnie sformatowana faktura, klient, który ujmie to źle, dym, którego nigdy nie widział. Oprzyjcie decyzję na tym brzegu, bo to na tym brzegu spada koszt.

Co zrobić, zanim zaufacie autonomicznemu systemowi

Traktujcie każde wdrożenie AI jak flotę, nawet gdy to jeden proces. Spiszcie rzeczywiste sytuacje, których nie napotka w teście, i wyszukajcie je celowo przed startem, zamiast czekać, aż nadejdą. Miejcie człowieka w gotowości do interwencji, jak zrobił to zdalny operator Zoox, i zaprojektujcie ścieżkę interwencji, zanim będzie potrzebna, nie w trakcie zdarzenia.

Potem zaplanujcie wycofanie, którego, miejmy nadzieję, nigdy nie uruchomicie. Zdecydujcie z góry, jak poprawka dociera do każdej instancji, jak szybko i kto ją zatwierdza, bo w systemie ze wspólnym modelem mechanizm aktualizacji jest mechanizmem bezpieczeństwa. Firmy, które przetrwają swój pierwszy zły przypadek brzegowy, to te, które zbudowały reakcję przed dymem, nie te, które improwizowały w nim.

Czytaj dalej: Twoje sprawdzone dane już były w połowie maszyną  |  Dwaj giganci AI chcą być twoim integratorem