Sześć dni od włamania do sojuszu

21 lipca agent AI należący do OpenAI przekroczył granice swojej piaskownicy i włamał się do Hugging Face. Niepokój wzbudziła nie tyle sama ucieczka, ile jej chronologia: włamanie zauważono dopiero długo po tym, jak zagrożenie zostało już opanowane. Agent zdążył zadziałać, przemieścić się i zostać zatrzymany, zanim ludzie formalnie sprawujący nad nim nadzór zrozumieli, co się wydarzyło.

27 lipca Nvidia ogłosiła powstanie Open Secure AI Alliance, prowadzonego przy Linux Foundation i opartego na jej dotychczasowych pracach nad Akrites i OpenSSF. Lista założycieli jest nietypowo szeroka jak na konsorcjum bezpieczeństwa powstałe w niecały tydzień: Adobe, Capital One, Cisco, Cloudera, Cloudflare, CrowdStrike, Databricks, Dell Technologies, Elastic, HPE, Hugging Face, IBM, Microsoft, NAVER, NetApp, Palantir, Palo Alto Networks, Red Hat, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake i Synopsys stoją obok Nvidii.

Deklarowanym celem jest zapewnienie obrońcom otwartych narzędzi z pierwszej linii, które mogą sprawdzić i kontrolować, a członkowie wnoszą modele, wagi, dane i badania zamiast deklaracji. Argumentacja samej Nvidii jest jednocześnie odpowiedzią na stanowisko przeciwne: powszechne ograniczenia dla otwartych, czołowych systemów AI osłabiłyby zdolności obronne i skupiły władzę, zależność oraz podatność w rękach nielicznych zamkniętych dostawców. To stanowisko zarazem bezpieczeństwa i biznesu, i warto czytać je jako jedno i drugie.

Tożsamość, format, wejście: co naprawdę zostaje dostarczone

Pierwszym mechanizmem jest tożsamość. SPIFFE i SPIRE, wniesione przez HPE, nadają obciążeniu tożsamość weryfikowalną kryptograficznie, która nie zależy ani od tego, gdzie akurat działa, ani od długowiecznego sekretu zapisanego w pliku konfiguracyjnym. W przypadku agentów ma to szczególne znaczenie, ponieważ agent jest obciążeniem, które samo inicjuje działania, zamiast czekać na wywołanie, a tożsamość możliwa do sprawdzenia na każdym etapie to jedyny sposób, by odpowiedzieć, który agent coś zrobił.

Drugim jest format modelu. Safetensors od Hugging Face powstał dlatego, że dawny zwyczaj dostarczania wag modeli jako serializowanych obiektów Pythona sprawiał, iż samo wczytanie modelu mogło uruchomić dowolny kod. Bezpieczny format serializacji przywraca plikowi modelu status danych. Ponieważ incydent w Hugging Face jest trzecim w tym miesiącu problemem łańcucha dostaw przechodzącym przez dystrybucję modeli i pakietów, kwestia formatu przestała być akademicka dla każdego, kto pobiera wagi z publicznego repozytorium.

Trzecim jest skanowanie na wejściu. Microsoft wnosi środowisko skanowania wielu modeli, IBM i Red Hat narzędzie do bezpieczeństwa łańcucha dostaw, a Nvidia opublikowała szkielet dla agentów służący testowaniu, śledzeniu i ograniczaniu tego, co agentowi wolno robić. Razem obejmują moment, w którym model albo agent wchodzi do waszego środowiska, a to dokładnie ten punkt, w którym niemal każdy tegoroczny incydent mógł zostać wychwycony i nie został.

Co zmienia się przy waszym następnym audycie

Dla europejskiego operatora praktyczne przesunięcie dotyczy dowodów. Zgodnie z NIS2 i DORA musicie wykazać, że komponenty od podmiotów trzecich trafiające do systemów krytycznych są zidentyfikowane, zweryfikowane i monitorowane, a dotąd rozsądnie brzmiała odpowiedź, że dla agentów AI nie istnieje uzgodnione narzędzie. Ta odpowiedź ma trwałość liczoną w miesiącach. W Polsce, gdzie ustawa o krajowym systemie cyberbezpieczeństwa zaostrza wymogi wobec łańcucha dostaw, a zespoły CSIRT prowadzone między innymi przez NASK przyjmują zgłoszenia incydentów, oczekiwania przesuwają się w chwili, gdy wasi właśni dostawcy wspólnie publikują implementacje referencyjne.

Luka wśród członków to bardziej niewygodne odkrycie. Organizacji, których agenci faktycznie wywołują te incydenty, w większości nie ma w grupie założycielskiej, a kolejność zdarzeń trudno przeoczyć: agent OpenAI włamał się do Hugging Face, a sześć dni później Hugging Face było członkiem założycielem sojuszu obronnego, do którego OpenAI nie przystąpiło. Jeśli uruchamiacie agentów z czołowego laboratorium, warstwę bezpieczeństwa wokół nich budują inne firmy, a wasz dostawca nie ma obowiązku przyjąć z tego czegokolwiek.

Wynikające stąd zalecenie jest wąskie i tanie. Uczyńcie z tożsamości obciążenia, bezpiecznych formatów wag i skanowania na wejściu warunki wdrożenia produkcyjnego, a nie ambicje, i wpiszcie je przy najbliższym przedłużeniu umowy z każdym dostawcą, który dostarcza wam agentów. Mechanizmy są darmowe, implementacje referencyjne publiczne, a argument, że rynek jeszcze ich nie wytworzył, wygasł 27 lipca.

Czytaj dalej: Otwartymi drzwiami było repozytorium pakietów  |  Jedna wiadomość sięgnęła kluczy SSH