Gigawat mocy obliczeniowej AI pracuje już bez Nvidii

Dziesięć tysięcy układów, ani jednego amerykańskiego

Z.ai, chińskie laboratorium znane wcześniej jako Zhipu i twórca rodziny modeli GLM, zakończyło budowę centrum danych klasy gigawatowej i uruchomiło jego część. Obiekt pracuje na ponad dziesięciu tysiącach półprzewodników produkcji krajowej i, jak wynika z doniesień, nie ma w nim ani jednego układu Nvidii. Opisuje się go jako największy obiekt serwerowy zbudowany przez chińską firmę z branży sztucznej inteligencji, a Z.ai prowadzi dziś kilka klastrów, z których każdy przekracza dziesięć tysięcy układów.

Znaczenie ma wyłączność, nie skala. Chińskie firmy budują duże klastry od lat, zwykle z mieszanki zgromadzonych zapasów sprzętu Nvidii, wariantów dopuszczonych do eksportu i akceleratorów krajowych. Budowa, w której nie ma ani grama amerykańskiego krzemu, mówi coś zupełnie innego. Mówi, że krajowy łańcuch dostaw, od akceleratora przez łącza po sterujące nimi oprogramowanie, jest na tyle kompletny, by postawić ośrodek treningowy w skali modeli czołowych bez zezwolenia z Waszyngtonu.

Za tym stoi szerszy kontekst. Chiny zadeklarowały na budowę krajowych centrów danych około 2 bilionów juanów, czyli mniej więcej 295 miliardów dolarów albo 273 miliardy euro, w perspektywie pięciu lat. Ten obiekt to fragment tego programu, który z etapu zapowiedzi przeszedł do etapu pracy, a tylko ten drugi zmienia czyjekolwiek możliwości.

Przejęcie, które znaczy więcej niż budynek

Tego samego dnia Z.ai sfinalizowało zakup Zhongke Jiahe, firmy tworzącej oprogramowanie dla infrastruktury sztucznej inteligencji, założonej przez badaczy z Chińskiej Akademii Nauk. Jej technologia robi rzecz wąską, ale kluczową: pozwala wydajnie uruchomić ten sam model na różnych akceleratorach chińskiej produkcji, w tym na konstrukcjach Huawei i Cambricon.

To jest prawdziwe wąskie gardło i nie ma ono charakteru sprzętowego. Dekada alternatyw dla Nvidii rzadko rozbijała się o samą wydajność krzemu. Rozbijała się o to, że każde obciążenie trzeba było przenieść, dostroić i utrzymywać osobno pod każdą architekturę, a koszt przenoszenia zjadał oszczędność na sprzęcie. Krajowa budowa oparta na dwóch czy trzech rodzinach akceleratorów ten problem mnoży, a nie omija.

Z.ai nie próbowało rozwiązać go własnymi siłami. Kupiło zespół z Akademii Nauk, który miał go już rozwiązany, i zamknęło transakcję tego samego dnia, w którym ogłosiło obiekt. Kolejność zdarzeń warto czytać jako deklarację zamiaru. Firma przekonana, że przykryje niejednorodny sprzęt własną inżynierią, nie dokupuje tej kompetencji dokładnie w momencie, w którym zaczyna jej potrzebować. Zakup jest przyznaniem, jak trudna jest ta warstwa, i jednocześnie powodem, dla którego gigawat w ogóle da się wykorzystać.

Gigawat daje mniej, niż się wydaje, i w tym rzecz

Jeden gigawat to mniej więcej chwilowy pobór 750 000 gospodarstw domowych. Tak podane brzmi rozstrzygająco, ale dla europejskiego czytelnika warto przeliczyć to na walutę, która naprawdę nas ogranicza. Nie są nią układy scalone. Jest nią przyłącze do sieci.

Krajowe chińskie akceleratory dają zwykle mniej mocy obliczeniowej na wat niż układy Nvidii, które zastępują. Gigawat krzemu Huawei i Cambricon nie daje więc gigawata przepustowości treningowej w klasie Nvidii. Daje wyraźnie mniej. Ta strategia działa tylko wtedy, gdy ten sam efekt można okupić większą mocą, a Pekin może, bo przepustowość sieci i rozbudowa wytwarzania to akurat te zasoby, których Chinom nie brakuje.

Europa stoi po przeciwnej stronie tego rachunku. Kolejki po przyłącza w Holandii, Niemczech, Irlandii i Wielkiej Brytanii liczy się w latach, nie w miesiącach, a wąskim gardłem europejskich mocy obliczeniowych dla sztucznej inteligencji od dawna nie są układy scalone. Dlatego tę wiadomość należy czytać jako opowieść o energetyce przebraną za opowieść o półprzewodnikach. Konkurent, który potrafi zapłacić za nieefektywność prądem, gra w grę, w którą europejski operator nie zagra, niezależnie od tego, jaki sprzęt trafi na rynek.

Co to zmienia dla modelu, który już u was pracuje

Modele GLM mają otwarte wagi i spora część europejskich firm trzyma je na produkcji, najczęściej jako tańszą warstwę pod modelem czołowym. Dla tych firm praktyczne pytanie zawsze brzmiało tak samo i dotyczyło trwałości dostaw. Jeśli kontrole eksportowe się zacieśnią, czy to, na czym zbudowałem, przestanie być rozwijane?

Odpowiedź nie tyle się poprawiła, ile zmieniła kształt. Krajowa baza obliczeniowa sprawia, że dalszy rozwój tych modeli jest znacznie mniej zależny od amerykańskich decyzji licencyjnych, co usuwa jeden scenariusz awarii. Ale dokładnie ta sama samowystarczalność sprawia, że modele stają się warte kontrolowania z drugiej strony. Chińskie organy konsultują z krajowymi firmami z branży sztucznej inteligencji i produkcji układów zaostrzenie przepisów eksportowych obejmujących zaawansowane modele i stojącą za nimi technologię. To kierunek opisany w tym tygodniu i jeszcze nieprzyjęty.

Ryzyko więc nie zniknęło. Przesunęło się i podwoiło. Model, który dotąd mierzył się z jednym reżimem kontroli eksportu, leży teraz między dwoma, a te dwa nie są ze sobą uzgodnione. Przy decyzji architektonicznej o pięcioletnim horyzoncie to obraz istotnie inny niż ten, który zawiera dziś większość europejskich rejestrów ryzyka.

Skopiujcie wagi, a potem zapiszcie, jaki reżim je obejmuje

Dwa ruchy, oba tanie, oba do wykonania w tym kwartale. Po pierwsze, dla każdego chińskiego modelu o otwartych wagach, który macie na produkcji, skopiujcie wagi do pamięci masowej pod waszą kontrolą, we własnej jurysdykcji, z zapisaną sumą kontrolną. Otwarte wagi, które już pobraliście, są trwałe niezależnie od tego, co któryś rząd zdecyduje później. Otwarte wagi ściągane na bieżąco z cudzego repozytorium to zależność w przebraniu aktywa.

Po drugie, dopiszcie do rejestru modeli jedno pole: jaki reżim kontroli eksportu obejmuje dany model. Większość rejestrów odnotowuje licencję, liczbę parametrów i miejsce hostingu. Prawie żaden nie odnotowuje jurysdykcji kontroli, bo do niedawna sensowna odpowiedź była tylko jedna. Teraz są dwie, mogą się zacieśniać niezależnie od siebie, a model może stać się niedostępny za sprawą jednej z nich, choćby druga nie zrobiła nic.

Nic z tego nie każe zmieniać dostawcy ani rezygnować z chińskich otwartych wag. Przewaga kosztowa, która wprowadziła je do waszej architektury, jest realna i nie zniknie, a krajowa baza obliczeniowa raczej ją utrwala. Rzecz jest węższa. Zależycie dziś od artefaktu, którego dalsza dostępność jest kwestią decyzji politycznych w dwóch stolicach, a zabezpieczenie kosztuje jeden zasobnik na dane i jedną kolumnę w arkuszu.

Czytaj dalej: Nawet bilionowe laboratorium musi wynająć moc  |  Podatek Nvidia ma teraz drugie źródło