De bandbreedtemuur achter de rekenrace
Inkopers van AI-infrastructuur hebben twee jaar besteed aan het vergelijken van GPU-aantallen en FLOPS, terwijl een stillere beperking om hen heen sloot: de eigen roadmap van SK hynix stelt nu dat de rekendoorvoer ruwweg elke twee jaar verdrievoudigt, terwijl de interconnectbandbreedte, de datalinks tussen geheugen en processoren, in dezelfde periode maar ongeveer 1,4x is toegenomen. Die onbalans was onzichtbaar in de meeste inkoopgesprekken, die twee jaar lang bijna volledig draaiden om GPU-aantallen, FLOPS en, recenter, HBM-capaciteit, terwijl de bedrading tussen chips in een aanbesteding nauwelijks werd genoemd.
Dat gat noemen de ingenieurs van het bedrijf een bandbreedtemuur. Conventionele koperen interconnects lopen tegen inherente natuurkundige beperkingen aan naarmate de afstand tussen chips toeneemt, waardoor een cluster met meer GPU's dan ooit toch zonder data kan komen te zitten zodra die chips over een rack of bord met elkaar moeten communiceren. De stelling van het artikel is helder: niet de rekenkracht zelf, maar de interconnect wordt de bindende beperking voor de prestaties van AI-infrastructuur. De natuurkunde achter die beperking is eenvoudig: hoe langer een koperen spoor of kabel wordt, hoe meer signaalkracht verloren gaat aan weerstand en hoe meer elektrische ruis het oppikt van naburige lijnen, waardoor ingenieurs het signaal moeten vertragen of onevenredig veel energie moeten inzetten om het door te krijgen, en op rack- en datacenterafstanden is die afweging niet langer gunstig.
Wat de roadmap van SK hynix werkelijk belooft
De roadmap staat in een collegiaal getoetst artikel, Co-packaged optics for high-performance computing and artificial intelligence, gepubliceerd in Nature Electronics en mede geschreven met de University of Virginia, de University of Illinois Urbana-Champaign, Nanyang Technological University, MIT en Yonsei University. Het stelt drie concrete doelen voor AI-infrastructuur van de volgende generatie gebouwd rond co-packaged optics, of CPO: meer dan 100 Tb/s bandbreedte per node, een energieverbruik onder 1 picojoule per bit, en een chip-naar-chip-latentie onder 10 nanoseconden. De lijst van vijf mede-auteursuniversiteiten, verspreid over de Verenigde Staten, Singapore en Zuid-Korea, laat zien dat dit wordt behandeld als een gedeelde technische uitdaging voor de hele sector en niet als een intern doel van een enkel bedrijf.
| Maatstaf | Typische koperen interconnect vandaag | Doel SK hynix CPO-roadmap |
|---|---|---|
| Bandbreedte per node | In de orde van enkele Tb/s | Meer dan 100 Tb/s |
| Energie per bit | Ongeveer 5-15 picojoule per bit | Onder 1 picojoule per bit |
| Chip-naar-chip-latentie | Tientallen nanoseconden | Onder 10 nanoseconden |
CPO haalt die cijfers door de optische engines fysiek te integreren in hetzelfde package als de processor of het geheugen, in plaats van losse pluggable optische transceivers en de koperen verbindingen die deze voeden. Het inkorten van de elektrische afstand die een signaal moet afleggen vermindert zowel het energieverlies door weerstand als het tijdverlies bij de overdracht, wat verklaart waarom de drie doelen van de roadmap samen opschuiven in plaats van elkaar te beconcurreren. Dat is belangrijk omdat de meeste pogingen om slechts een deel van de bandbreedtemuur op te lossen, bredere koperen sporen, meer parallelle lanes, hogere kloksnelheden, het energieverbruik of de latentie ergens anders vaak verslechteren; CPO wordt gepresenteerd als een manier om alle drie de cijfers tegelijk in de juiste richting te bewegen.
Waarom dit een inkoopvraagstuk is, niet alleen een technisch vraagstuk
De afgelopen twee jaar zijn inkoopbeslissingen voor AI-infrastructuur, cloudcontracten, on-prem GPU-clusters, colocatiedeals, bijna uitsluitend beoordeeld op rekenkracht en, recenter, op geheugencapaciteit en -bandbreedte. De eigen roadmap van SK hynix is in de praktijk een publieke erkenning dat het volgende knelpunt, en daarmee het volgende aangrijpingspunt voor leveranciersafhankelijkheid en prijszettingsmacht, in de interconnectlaag ligt die de meeste zakelijke inkopers vandaag helemaal niet beoordelen. Een typische aanbesteding voor cloud- of GPU-clusters vraagt vandaag naar acceleratorgeneratie, geheugenbandbreedte en stroomverbruik per rack, maar vraagt een leverancier zelden om zijn interconnect- of CPO-roadmap te beschrijven.
Het gevolg voor een Europese onderneming die een meerjarig AI-infrastructuur- of cloudcontract tekent, is concreet: een cluster die vandaag toekomstbestendig lijkt op basis van GPU-aantal en HBM-capaciteit, kan bandbreedte tekortkomen ver voordat het rekenkracht tekortkomt. De leverancier die de optische interconnectlaag beheerst, niet alleen de chip, krijgt buitensporige prijszettingsmacht in de volgende hardware-vervangingscyclus. De meeste zakelijke AI-infrastructuurcontracten lopen al drie tot vijf jaar, wat betekent dat een beslissing van dit jaar bepaalt welke leverancier die machtspositie tot ongeveer 2029 of 2030 behoudt.
Wat te vragen voor de volgende contractverlenging
Inkoop- en infrastructuurteams die cloud- of AI-hardwareleveranciers beoordelen, moeten nu al vragen naar interconnect- en CPO-roadmaps, niet pas wanneer het huidige contract aan verlenging toe is. Voor de grote datacenterhubs rond Amsterdam en de Nederlandse kabel- en internetknooppunten, die AI-capaciteit snel uitbreiden, betekent dit rechtstreeks vragen hoe een leverancier data tussen geheugen en rekenkracht op schaal wil verplaatsen, niet alleen hoeveel accelerators er in een rack passen, en om een tijdlijn vragen in plaats van een intentieslide. Drie concrete vragen horen op dat lijstje: wat is de huidige interconnectbandbreedte van de leverancier per node, wat is zijn gepubliceerde CPO- of optische-interconnectroadmap, en hoe verhoudt die roadmap zich tot de doelen van meer dan 100 Tb/s, onder 1 picojoule en onder 10 nanoseconden die SK hynix nu openbaar heeft gemaakt.
Dat SK hynix dit werk publiceert via zijn eigen newsroom, samen met vijf universiteiten en een collegiaal getoetst tijdschrift, leest als een geheugenleverancier die zichzelf herpositioneert als een AI-infrastructuurbedrijf op systeemniveau. Inkopers die die verschuiving als achtergrondgeruis behandelen, onderhandelen hun volgende verlenging vanuit een kennisachterstand; wie interconnect vandaag al op het beoordelingsformulier zet, onderhandelt vanuit een sterke positie. Deze roadmap behandelen als een curiositeit uit de geheugenindustrie in plaats van als een inkoopsignaal is de fout die de meeste inkopers nog steeds maken, en het is precies de fout die deze roadmap moest corrigeren.
Lees hierna: Meta wil een eigen onderzeekabel naar Denemarken | Amazon leende 25 miljard dollar voor AI-capaciteit
