SK hynix: interconnect er AI's næste flaskehals

Båndbreddemuren bag beregningskapløbet

Indkøbere af AI-infrastruktur har brugt to år på at sammenligne GPU-antal og FLOPS, mens en stillere begrænsning lukkede sig om dem: SK hynix' egen roadmap fastslår nu, at beregningsgennemstrømningen groft er tredoblet hvert andet år, mens interconnect-båndbredden, dataforbindelserne mellem hukommelse og processorer, kun er øget med omkring 1,4x i samme periode. Denne ubalance har været usynlig i de fleste indkøbssamtaler, som i to år næsten udelukkende har handlet om GPU-antal, FLOPS og, senere, HBM-kapacitet, mens forbindelserne mellem chips næsten aldrig er blevet nævnt i et udbud.

Det gab kalder virksomhedens ingeniører en båndbreddemur. Konventionelle kobberforbindelser rammer indbyggede fysiske begrænsninger, når afstanden mellem chips vokser, så et cluster med flere GPU'er end nogensinde stadig kan mangle data, i det øjeblik de chips skal kommunikere med hinanden over et rack eller et bundkort. Artiklens pointe er klar: det er interconnect, ikke den rå beregningskraft, der bliver den bindende begrænsning for AI-infrastrukturens ydeevne. Fysikken bag denne begrænsning er enkel: jo længere en kobberledning eller et kabel bliver, desto mere signalstyrke tabes til modstand, og desto mere elektrisk støj opsamles fra nærliggende ledninger, så ingeniører må enten sænke signalets hastighed eller bruge uforholdsmæssigt meget energi på at drive det igennem, og på rack- og datacenterafstande er den afvejning ikke længere gunstig.

Hvad SK hynix' roadmap egentlig lover

Roadmappen fremgår af en fagfællebedømt artikel, Co-packaged optics for high-performance computing and artificial intelligence, udgivet i Nature Electronics og medforfattet med University of Virginia, University of Illinois Urbana-Champaign, Nanyang Technological University, MIT og Yonsei University. Den opstiller tre konkrete mål for næste generations AI-infrastruktur bygget omkring co-packaged optics, eller CPO: mere end 100 Tb/s båndbredde per node, et energiforbrug under 1 picojoule per bit, og en chip-til-chip-latenstid under 10 nanosekunder. Listen med fem medforfattende universiteter, fordelt på USA, Singapore og Sydkorea, viser, at dette behandles som en fælles teknisk udfordring for hele branchen og ikke som et internt mål for en enkelt virksomhed.

CPO når disse tal ved fysisk at integrere de optiske motorer i samme package som processoren eller hukommelsen, hvilket erstatter separate, tilsluttelige optiske transceivere og de kobberforbindelser, der forsyner dem. At forkorte den elektriske afstand, et signal skal tilbagelægge, reducerer både energitabet fra modstand og tidstabet i transmissionen, hvilket er grunden til, at roadmappens tre mål bevæger sig sammen i stedet for at gå på kompromis med hinanden. Det betyder noget, fordi de fleste forsøg på at løse kun en del af båndbreddemuren, bredere kobberledninger, flere parallelle baner, højere clockfrekvenser, ofte forringer energiforbruget eller latenstiden et andet sted; CPO præsenteres som en måde at flytte alle tre tal i den rigtige retning på samme tid.

Hvorfor det er et indkøbsproblem, ikke kun et ingeniørproblem

I de seneste to år er indkøbsbeslutninger om AI-infrastruktur, cloud-kontrakter, on-prem GPU-clustre, colocation-aftaler, blevet vurderet næsten udelukkende på beregningskraft og, senere, på hukommelseskapacitet og -båndbredde. SK hynix' egen roadmap er i praksis en offentlig indrømmelse af, at den næste flaskehals, og dermed det næste punkt for leverandørlåsning og prisfastsættelsesmagt, ligger i interconnect-laget, som de fleste virksomhedsindkøbere i dag slet ikke vurderer. Et typisk udbud for cloud eller GPU-clustre spørger i dag til acceleratorgeneration, hukommelsesbåndbredde og strømforbrug per rack, men spørger sjældent en leverandør om at beskrive sin interconnect- eller CPO-roadmap.

Konsekvensen for en europæisk virksomhed, der underskriver en flerårig AI-infrastruktur- eller cloud-kontrakt, er konkret: et cluster, der i dag ser fremtidssikret ud på GPU-antal og HBM-kapacitet, kan blive båndbreddesultet lang tid før det bliver beregningssultet. Den leverandør, der kontrollerer det optiske interconnect-lag, ikke kun chippen, får uforholdsmæssig stor prisfastsættelsesmagt i den næste hardware-udskiftningscyklus. De fleste virksomhedskontrakter om AI-infrastruktur løber allerede tre til fem år, hvilket betyder, at en beslutning i år afgør, hvilken leverandør der bevarer den fordel til omkring 2029 eller 2030.

Hvad man bør spørge om før næste fornyelse

Indkøbs- og infrastrukturteams, der vurderer cloud- eller AI-hardwareleverandører, bør begynde at spørge til interconnect- og CPO-roadmaps nu, ikke når den nuværende kontrakt skal fornyes. For de store datacenterklynger i Danmark, som allerede tiltrækker massive AI- og hyperscale-investeringer, betyder det at spørge leverandøren direkte, hvordan de planlægger at flytte data mellem hukommelse og beregning i stor skala, ikke kun hvor mange acceleratorer de kan sætte i et rack, og at bede om en tidsplan i stedet for et hensigtserklæringsslide. Tre konkrete spørgsmål bør stå på den liste: hvad er leverandørens nuværende interconnect-båndbredde per node, hvad er dens offentliggjorte CPO- eller optiske interconnect-roadmap, og hvordan sammenlignes den roadmap med de mål på over 100 Tb/s, under 1 picojoule og under 10 nanosekunder, som SK hynix nu har offentliggjort.

At SK hynix udgiver dette arbejde via sit eget nyhedsrum, sammen med fem universiteter og et fagfællebedømt tidsskrift, læses som en hukommelsesleverandør, der omplacerer sig selv som en AI-infrastrukturvirksomhed på systemniveau. Indkøbere, der behandler dette skifte som baggrundsstøj, vil forhandle deres næste fornyelse fra en position uden viden; de, der sætter interconnect på evalueringsskemaet i dag, forhandler fra en styrkeposition. At behandle denne roadmap som en kuriositet fra hukommelsesindustrien i stedet for et indkøbssignal er den fejl, de fleste indkøbere stadig begår, og det er præcis den fejl, denne roadmap blev udgivet for at rette.

Læs videre: Meta vil have sit eget søkabel til Danmark  |  Amazon lånte 25 milliarder dollar til AI-kapacitet