Bariera przepustowości za wyścigiem obliczeniowym
Kupujący infrastrukturę AI spędzili dwa lata na porównywaniu liczby GPU i FLOPS, podczas gdy cichsze ograniczenie zacieśniało się wokół nich: własna mapa drogowa SK hynix stwierdza teraz, że przepustowość obliczeniowa mniej więcej trzykrotnie wzrasta co dwa lata, podczas gdy przepustowość połączeń międzyukładowych, łączy danych między pamięcią a procesorami, wzrosła w tym samym okresie tylko o około 1,4x. Ta nierównowaga była niewidoczna w większości rozmów zakupowych, które przez dwa lata dotyczyły niemal wyłącznie liczby GPU, FLOPS oraz, ostatnio, pojemności HBM, a okablowanie między układami było w zapytaniach ofertowych wspominane rzadko.
Tę przepaść inżynierowie firmy nazywają barierą przepustowości. Konwencjonalne połączenia miedziane napotykają nieodłączne ograniczenia fizyczne, gdy rośnie odległość między układami, przez co klaster z większą liczbą GPU niż kiedykolwiek może wciąż głodować danych w momencie, gdy te układy muszą komunikować się ze sobą przez rack lub płytę. Wymowa artykułu jest jasna: to połączenia międzyukładowe, a nie surowa moc obliczeniowa, stają się wiążącym ograniczeniem wydajności infrastruktury AI. Fizyka stojąca za tym ograniczeniem jest prosta: im dłuższa staje się miedziana ścieżka lub kabel, tym więcej siły sygnału traci się na oporze i tym więcej zakłóceń elektrycznych zbiera się z sąsiednich linii, przez co inżynierowie muszą albo zwolnić sygnał, albo zużyć nieproporcjonalnie dużo energii, aby go przepchnąć, a na odległościach racka czy sali serwerowej ten kompromis nie jest już korzystny.
Co naprawdę obiecuje mapa drogowa SK hynix
Mapa drogowa pojawia się w recenzowanej publikacji, Co-packaged optics for high-performance computing and artificial intelligence, wydanej w Nature Electronics i współautorstwa University of Virginia, University of Illinois Urbana-Champaign, Nanyang Technological University, MIT i Yonsei University. Wyznacza ona trzy konkretne cele dla infrastruktury AI następnej generacji zbudowanej wokół optyki współpakowanej, czyli CPO: ponad 100 Tb/s przepustowości na węzeł, zużycie energii pod 1 pikodżul na bit oraz opóźnienie między układami pod 10 nanosekund. Lista pięciu współautorskich uniwersytetów, obejmująca Stany Zjednoczone, Singapur i Koreę Południową, wskazuje, że jest to traktowane jako wspólne wyzwanie inżynieryjne całej branży, a nie jako wewnętrzny cel jednej firmy.
| Wskaźnik | Typowe połączenie miedziane dziś | Cel mapy drogowej CPO SK hynix |
|---|---|---|
| Przepustowość na węzeł | Rzędu kilku Tb/s | Ponad 100 Tb/s |
| Energia na bit | Około 5-15 pikodżuli na bit | Poniżej 1 pikodżula na bit |
| Opóźnienie między układami | Rzędu dziesiątek nanosekund | Poniżej 10 nanosekund |
CPO osiąga te liczby, fizycznie integrując silniki optyczne w tej samej obudowie co procesor lub pamięć, zastępując oddzielne, wymienne nadajniki-odbiorniki optyczne oraz miedziane połączenia, które je zasilają. Skrócenie elektrycznej odległości, jaką musi przebyć sygnał, redukuje zarówno energię traconą na oporze, jak i czas tracony na transmisji, co wyjaśnia, dlaczego trzy cele mapy drogowej przesuwają się razem, a nie na koszt siebie nawzajem. Ma to znaczenie, ponieważ większość prób rozwiązania tylko jednej części bariery przepustowości, szersze ścieżki miedziane, więcej równoległych kanałów, wyższe częstotliwości zegara, zwykle pogarsza zużycie energii lub opóźnienie gdzie indziej; CPO jest przedstawiane jako sposób na przesunięcie wszystkich trzech wartości w dobrym kierunku jednocześnie.
Czemu to problem zakupowy, a nie tylko inżynierski
Przez ostatnie dwa lata decyzje zakupowe dotyczące infrastruktury AI, kontrakty chmurowe, własne klastry GPU, umowy kolokacyjne, były oceniane praktycznie wyłącznie na podstawie mocy obliczeniowej, a od niedawna także pojemności i przepustowości pamięci. Własna mapa drogowa SK hynix to w praktyce publiczne przyznanie, że kolejna bariera, a więc kolejny punkt zależności od dostawcy i siły ustalania cen, leży w warstwie połączeń międzyukładowych, której większość kupujących korporacyjnych obecnie w ogóle nie ocenia. Typowe zapytanie ofertowe na chmurę lub klaster GPU dziś pyta o generację akceleratora, przepustowość pamięci i zużycie energii na rack, ale rzadko prosi dostawcę o opisanie jego mapy drogowej połączeń międzyukładowych lub CPO.
Konsekwencja dla europejskiej firmy podpisującej wieloletni kontrakt na infrastrukturę AI lub chmurę jest konkretna: klaster, który dziś wygląda na przyszłościowy pod względem liczby GPU i pojemności HBM, może zacząć głodować przepustowości długo przed tym, jak zacznie głodować mocy obliczeniowej. Dostawca, który kontroluje optyczną warstwę połączeń międzyukładowych, a nie tylko układ, zyska nieproporcjonalnie dużą siłę ustalania cen w kolejnym cyklu wymiany sprzętu. Większość korporacyjnych kontraktów na infrastrukturę AI trwa już od trzech do pięciu lat, co oznacza, że decyzja podjęta w tym roku decyduje, który dostawca zachowa tę przewagę do około 2029 lub 2030 roku.
O co pytać przed kolejnym odnowieniem umowy
Zespoły zakupowe i infrastrukturalne oceniające dostawców chmury lub sprzętu AI powinny zacząć pytać o mapy drogowe połączeń międzyukładowych i CPO już teraz, a nie wtedy, gdy obecna umowa będzie podlegać odnowieniu. Dla rosnących klastrów centrów danych w Polsce, które przyciągają coraz większe inwestycje w moc obliczeniową AI, oznacza to bezpośrednie pytanie dostawcy, jak planuje przesyłać dane między pamięcią a obliczeniami w skali, a nie tylko ile akceleratorów zmieści w racku, oraz domaganie się harmonogramu, a nie slajdu z intencjami. Na tej liście powinny znaleźć się trzy konkretne pytania: jaka jest obecna przepustowość połączeń międzyukładowych dostawcy na węzeł, jaka jest jego opublikowana mapa drogowa CPO lub optycznych połączeń międzyukładowych, i jak ta mapa drogowa wypada na tle celów ponad 100 Tb/s, poniżej 1 pikodżula i poniżej 10 nanosekund, które SK hynix już upubliczniła.
To, że SK hynix publikuje te prace za pomocą własnego biura prasowego, wraz z pięciu uniwersytetami i recenzowanym czasopismem, brzmi jak dostawca pamięci repozycjonujący się jako firma infrastruktury AI na poziomie systemowym. Kupujący, którzy traktują tę zmianę jako szum tła, będą negocjować kolejne odnowienie z pozycji niewiedzy; ci, którzy już dziś umieszczą połączenia międzyukładowe na karcie oceny, będą negocjować z pozycji siły. Traktowanie tej mapy drogowej jako ciekawostki z branży pamięci, a nie sygnału zakupowego, jest błędem, który wciąż popełnia większość kupujących, i jest to właśnie błąd, który ta mapa drogowa miała skorygować.
Czytaj dalej: Meta chce własnego kabla podmorskiego do Danii | Amazon pożyczył 25 miliardów dolarów na moc AI
