Sobotni esej szefa dostawcy AI
W sobotę 10 października Satya Nadella opublikował na swoim osobistym blogu esej zatytułowany 'Models as Insider Risks in the Super Intelligence Era'. TechCrunch opisał go jako wpis na X i nazwał wezwaniem, by cofnąć się o krok i ocenić architekturę zaufania w AI. Według TechCrunch pojawił się po doniesieniach, że firmy AI zdają się tracić kontrolę nad swoimi modelami, oraz po planie prezesa Anthropic Dario Amodei dotyczącym ostrożniejszego rozwoju.
Autor kieruje dużym dostawcą AI i pisze, że odpowiedzialności nie da się zlecić dostawcom modeli. Jego główne zdanie brzmi, że trzeba oddzielić dostawę inteligencji od władzy nad nią. Proponuje otoczyć niedeterministyczne modele deterministycznym projektem systemu, ludzkimi kontrolami i niezawodnymi procedurami operacyjnymi oraz traktować czołowe modele, zamknięte lub o otwartych wagach, jak ryzyka wewnętrzne. Porównanie nie zakłada złej woli: każdy zdolny podmiot z dostępem do ważnych systemów może popełnić błąd lub zostać skompromitowany.
Siedem zasad, siedem pytań do dostawcy
Esej wymienia siedem zasad. Każdą da się przełożyć na pytanie do dostawcy agentów i zapis do umowy.
| Zasada | Pytanie do dostawcy | Czego żądać |
|---|---|---|
| Różnorodność modeli | Czy jeden model może wykonywać pracę i ją weryfikować? | Żadnego modelu jako jedynej zależności ani własnego weryfikatora |
| Obserwuj wszystko | Czy każde istotne działanie zostawia czytelny, odporny na manipulację ślad? | Dzienników działań, które człowiek przeczyta, a klient wyeksportuje |
| Weryfikowalność | Czy cały system jest testowany pod kątem awarii, ataków i przypadków brzegowych? | Wyników testów wykraczających poza udane zadania |
| Niezależne kontrole | Kto decyduje, do czego model ma dostęp i co może robić? | Uprawnień ustawianych przez klienta, nie domyślnych wartości dostawcy |
| Niezależna audytowalność | Czy walidacja jest niezależna od walidowanej inteligencji? | Dowodów, które nie opierają się na raporcie samego modelu |
| Powstrzymanie | Czy upoważniona osoba może wstrzymać lub zatrzymać model w trakcie zadania? | Udokumentowanej funkcji zatrzymania i listy osób, które mogą jej użyć |
| Ujawnianie incydentów | Czy powiadomicie poszkodowanych klientów, co zawiodło i które kontrole zawiodły? | Obowiązku powiadomienia z terminem |
Zasady powstrzymania i obserwacji niosą najostrzejsze sformułowania eseju: zakładać, że model jest skompromitowany, i powstrzymywać go od początku jak hamulcem bezpieczeństwa, oraz sprawiać, by każde istotne działanie zostawiało czytelny, odporny na manipulację ślad.
Gdzie lista wskazuje z powrotem na Microsoft
Ten sam dostawca buduje produkty agentowe. Według heise Windows 11 dostanie agentowy pulpit, a w połowie września Microsoft przedstawił projekt kodeksu postępowania dla swoich modeli MAI, według którego nigdy nie powinny opierać się przerwaniu ani wyłączeniu. Lista Nadelli jest więc testem, który muszą przejść także własne produkty Microsoftu, a odpowiedzi pokażą, jak daleko praktyka poszła za esejem.
Microsoft nie jest zresztą jedynym dostawcą na rynku i nic w eseju nie dotyczy wyłącznie jego. Siedem pytań działa tak samo przy każdym produkcie agentowym i dlatego warto je spisać teraz, przed następną rundą zakupów.
Na które pytania możesz odpowiedzieć dziś
Posortuj siedem pytań w dwóch kolumnach: te, na które możesz odpowiedzieć dla swoich obecnych agentów na podstawie dokumentacji, i te, na które nie możesz. Druga kolumna to Twoja lista dla dostawcy. Ustal przed spotkaniem, której brakującej odpowiedzi nie zaakceptujesz przy zakupie. Powstrzymanie i obserwację najłatwiej sprawdzić na demonstracji, bo możesz poprosić o zatrzymanie w trakcie zadania i przykładowy dziennik.
Esej nie wspomina o unijnej ustawie o AI, więc to, czy dane wdrożenie podlega jej obowiązkom nadzoru ludzkiego, jest pytaniem do Twoich doradców prawnych i nie rozstrzyga go ta lista. Daje ona wspólne słownictwo do rozmowy, napisane przez szefa dostawcy AI.
Czytaj dalej: Copilot zmienia nazwę. Faktura zmienia kształt. | Łatka, która zamknęła jedną dziurę i otworzyła drugą
