SK hynix: interconnect blir AI:s nästa flaskhals

Bandbreddsmuren bakom beräkningskapplöpningen

Inköpare av AI-infrastruktur har tillbringat två år med att jämföra antal GPU:er och FLOPS medan en tystare begränsning slöt sig kring dem: SK hynix egen roadmap slår nu fast att beräkningsgenomströmningen grovt sett har tredubblats vartannat år, medan interconnect-bandbredden, datalänkarna mellan minne och processorer, bara har ökat med ungefär 1,4x under samma period. Denna obalans har varit osynlig i de flesta inköpssamtal, som under två år nästan uteslutande har handlat om antal GPU:er, FLOPS och, senare, HBM-kapacitet, medan kopplingarna mellan chip knappt har nämnts i en upphandling.

Det gapet kallar företagets ingenjörer en bandbreddsmur. Konventionella kopparförbindelser stöter på inneboende fysiska begränsningar när avståndet mellan chip växer, så ett kluster med fler GPU:er än någonsin fortfarande kan svälta på data i det ögonblick de chippen behöver kommunicera med varandra över ett rack eller ett kort. Artikelns hållning är rak: det är interconnect, inte den rena beräkningskraften, som blir den bindande begränsningen för AI-infrastrukturens prestanda. Fysiken bakom denna begränsning är enkel: ju längre en kopparledare eller kabel blir, desto mer signalstyrka går förlorad genom resistans och desto mer elektriskt brus plockas upp från intilliggande linjer, så ingenjörer måste antingen sakta ner signalen eller lägga oproportionerligt mycket energi på att driva den igenom, och på rack- och datacenteravstånd är den avvägningen inte längre fördelaktig.

Vad SK hynix roadmap egentligen lovar

Roadmapen presenteras i en kollegialt granskad artikel, Co-packaged optics for high-performance computing and artificial intelligence, publicerad i Nature Electronics och skriven tillsammans med University of Virginia, University of Illinois Urbana-Champaign, Nanyang Technological University, MIT och Yonsei University. Den slår fast tre konkreta mål för nästa generations AI-infrastruktur byggd kring co-packaged optics, eller CPO: mer än 100 Tb/s bandbredd per nod, en energiförbrukning under 1 picojoule per bit, och en chip-till-chip-latens under 10 nanosekunder. Listan med fem medförfattande universitet, spridda över USA, Singapore och Sydkorea, visar att detta behandlas som en delad teknisk utmaning för hela branschen och inte som ett internt mål för ett enskilt företag.

CPO når dessa siffror genom att fysiskt integrera de optiska motorerna i samma kapsel som processorn eller minnet, vilket ersätter separata, anslutbara optiska transceivrar och de kopparförbindelser som försörjer dem. Att korta den elektriska sträcka en signal måste färdas minskar både energiförlusten från resistans och tidsförlusten vid överföringen, vilket förklarar varför roadmapens tre mål rör sig tillsammans istället för att konkurrera med varandra. Det spelar roll eftersom de flesta försök att lösa bara en del av bandbreddsmuren, bredare kopparledare, fler parallella banor, högre klockfrekvenser, ofta försämrar energiförbrukningen eller latensen på annat håll; CPO presenteras som ett sätt att flytta alla tre siffrorna åt rätt håll samtidigt.

Varför det är ett inköpsproblem, inte bara ett teknikproblem

Under de senaste två åren har inköpsbeslut om AI-infrastruktur, molnavtal, egna GPU-kluster, samlokaliseringsavtal, bedömts nästan uteslutande utifrån beräkningskraft och, mer nyligen, minneskapacitet och -bandbredd. SK hynix egen roadmap är i praktiken ett offentligt erkännande av att nästa flaskhals, och därmed nästa punkt för leverantörsinlåsning och prissättningsmakt, ligger i interconnect-lagret som de flesta företagsinköpare i dag inte bedömer alls. En typisk upphandling för moln eller GPU-kluster frågar i dag efter acceleratorgeneration, minnesbandbredd och strömförbrukning per rack, men frågar sällan en leverantör om att beskriva sin interconnect- eller CPO-roadmap.

Konsekvensen för ett europeiskt företag som skriver ett flerårigt AI-infrastruktur- eller molnavtal är konkret: ett kluster som i dag ser framtidssäkert ut utifrån antal GPU:er och HBM-kapacitet kan bli bandbreddssvältet långt innan det blir beräkningssvältet. Den leverantör som kontrollerar det optiska interconnect-lagret, inte bara chippet, får en oproportionerlig prissättningsmakt i nästa cykel för hårdvaruuppgradering. De flesta företagskontrakt för AI-infrastruktur löper redan tre till fem år, vilket innebär att ett beslut som fattas i år avgör vilken leverantör som behåller den fördelen till omkring 2029 eller 2030.

Vad man bör fråga inför nästa förlängning

Inköps- och infrastrukturteam som utvärderar moln- eller AI-hårdvaruleverantörer bör börja fråga om interconnect- och CPO-roadmaps nu, inte när det nuvarande avtalet ska förlängas. För de stora datacenterklustren i norra Sverige, som redan lockar omfattande AI- och hyperscale-investeringar, innebär det att direkt fråga leverantören hur de planerar att flytta data mellan minne och beräkning i stor skala, inte bara hur många acceleratorer de kan montera i ett rack, och att begära en tidsplan istället för en avsiktsslide. Tre konkreta frågor bör finnas på den listan: vad är leverantörens nuvarande interconnect-bandbredd per nod, vad är dess publicerade CPO- eller optiska interconnect-roadmap, och hur står den roadmapen sig mot målen på över 100 Tb/s, under 1 picojoule och under 10 nanosekunder som SK hynix nu har offentliggjort.

Att SK hynix publicerar detta arbete via sin egen nyhetsredaktion, tillsammans med fem universitet och en kollegialt granskad tidskrift, läses som en minnesleverantör som omplacerar sig själv som ett AI-infrastrukturföretag på systemnivå. Inköpare som behandlar det skiftet som bakgrundsbrus förhandlar sin nästa förlängning från en position utan kunskap; de som sätter interconnect på utvärderingsblanketten redan i dag förhandlar från en styrkeposition. Att behandla denna roadmap som en kuriositet från minnesindustrin istället för en inköpssignal är det misstag de flesta inköpare fortfarande gör, och det är exakt det misstag denna roadmap publicerades för att rätta till.

Läs vidare: Meta vill äga sin egen sjökabel till Danmark  |  Amazon lånade 25 miljarder dollar till AI-kapacitet