SK Hynix macht Interconnect zum nächsten KI-Engpass

Die Bandbreitenmauer hinter dem Rechenwettlauf

Käufer von KI-Infrastruktur haben zwei Jahre damit verbracht, GPU-Anzahlen und FLOPS zu vergleichen, während sich um sie herum eine leisere Beschränkung zusammenzog: SK hynix' eigene Roadmap stellt nun fest, dass sich der Rechendurchsatz etwa alle zwei Jahre verdreifacht hat, während die Interconnect-Bandbreite, die Datenverbindungen zwischen Speicher und Prozessoren, im selben Zeitraum nur um etwa das 1,4-fache gewachsen ist. Dieses Ungleichgewicht war in den meisten Beschaffungsgesprächen unsichtbar, die sich zwei Jahre lang fast ausschließlich um GPU-Anzahlen, FLOPS und, zuletzt, HBM-Kapazität drehten, während die Verkabelung zwischen den Chips in einer Ausschreibung kaum erwähnt wurde.

Diese Lücke nennen die Ingenieure des Unternehmens eine Bandbreitenmauer. Herkömmliche Kupferverbindungen stoßen an inhärente physikalische Grenzen, sobald der Abstand zwischen den Chips wächst, sodass ein Cluster mit mehr GPUs als je zuvor trotzdem in dem Moment nach Daten hungern kann, in dem diese Chips über ein Rack oder eine Platine miteinander kommunizieren müssen. Die Aussage des Papers ist unmissverständlich: Nicht die reine Rechenleistung, sondern der Interconnect wird zur bindenden Beschränkung der Leistung von KI-Infrastruktur. Die Physik hinter dieser Beschränkung ist einfach: Je länger eine Kupferleitung oder ein Kabel wird, desto mehr Signalstärke verliert es durch Widerstand und desto mehr elektrisches Rauschen nimmt es von benachbarten Leitungen auf, sodass Ingenieure das Signal entweder verlangsamen oder unverhältnismäßig viel Energie aufwenden müssen, um es durchzudrücken, und auf Rack- und Rechenzentrumsdistanzen ist dieser Kompromiss nicht mehr günstig.

Was die Roadmap von SK Hynix wirklich verspricht

Die Roadmap erscheint in einem begutachteten Fachartikel, Co-packaged optics for high-performance computing and artificial intelligence, veröffentlicht in Nature Electronics und gemeinsam verfasst mit der University of Virginia, der University of Illinois Urbana-Champaign, der Nanyang Technological University, dem MIT und der Yonsei University. Sie setzt drei konkrete Ziele für KI-Infrastruktur der nächsten Generation auf Basis von Co-Packaged Optics, kurz CPO: mehr als 100 Tb/s Bandbreite pro Knoten, einen Energieverbrauch unter 1 Picojoule pro Bit und eine Chip-zu-Chip-Latenz unter 10 Nanosekunden. Die Autorenliste mit fünf Universitäten aus den USA, Singapur und Südkorea signalisiert, dass dies als gemeinsame technische Herausforderung der gesamten Branche behandelt wird und nicht als internes Ziel eines einzelnen Unternehmens.

CPO erreicht diese Werte, indem die optischen Engines physisch in dasselbe Package wie Prozessor oder Speicher integriert werden, anstatt separate steckbare optische Transceiver und die Kupferverbindungen zu verwenden, die diese versorgen. Die kürzere elektrische Strecke, die ein Signal zurücklegen muss, senkt sowohl den durch Widerstand verlorenen Energieanteil als auch die verlorene Zeit bei der Übertragung, weshalb sich die drei Ziele der Roadmap gemeinsam verbessern, statt sich gegenseitig auszubremsen. Das ist wichtig, weil die meisten Versuche, einen Teil der Bandbreitenmauer zu beheben, breitere Kupferleitungen, mehr parallele Kanäle, höhere Taktraten, den Energieverbrauch oder die Latenz an anderer Stelle meist verschlechtern; CPO wird als ein Weg dargestellt, alle drei Kennzahlen gleichzeitig in die richtige Richtung zu bewegen.

Warum das ein Beschaffungsproblem ist, nicht nur ein technisches

In den vergangenen zwei Jahren wurden Kaufentscheidungen für KI-Infrastruktur, Cloud-Verträge, eigene GPU-Cluster, Colocation-Deals, fast ausschließlich anhand der Rechenleistung und, zuletzt, anhand von Speicherkapazität und -bandbreite bewertet. SK hynix' eigene Roadmap ist faktisch ein öffentliches Eingeständnis, dass der nächste Engpass, und damit der nächste Ansatzpunkt für Anbieterabhängigkeit und Preissetzungsmacht, in der Interconnect-Schicht liegt, die die meisten Unternehmenseinkäufer heute überhaupt nicht bewerten. Eine typische Ausschreibung für Cloud- oder GPU-Cluster fragt heute nach Beschleuniger-Generation, Speicherbandbreite und Leistungsaufnahme pro Rack, verlangt von einem Anbieter aber selten, seine Interconnect- oder CPO-Roadmap zu beschreiben.

Die Konsequenz für ein europäisches Unternehmen, das einen mehrjährigen KI-Infrastruktur- oder Cloud-Vertrag unterschreibt, ist konkret: Ein Cluster, der heute anhand von GPU-Anzahl und HBM-Kapazität zukunftssicher wirkt, kann lange bevor er an Rechenleistung mangelt, an Bandbreite hungern. Der Anbieter, der die optische Interconnect-Schicht kontrolliert, nicht nur den Chip, wird im nächsten Hardware-Erneuerungszyklus über eine unverhältnismäßig große Preissetzungsmacht verfügen. Die meisten Unternehmensverträge für KI-Infrastruktur laufen bereits drei bis fünf Jahre, was bedeutet, dass eine in diesem Jahr getroffene Entscheidung darüber entscheidet, welcher Anbieter diese Verhandlungsmacht bis etwa 2029 oder 2030 behält.

Was vor der nächsten Vertragsverlängerung zu fragen ist

Beschaffungs- und Infrastrukturteams, die Cloud- oder KI-Hardware-Anbieter bewerten, sollten schon jetzt nach Interconnect- und CPO-Roadmaps fragen, nicht erst, wenn der laufende Vertrag zur Verlängerung ansteht. Für deutsche Industrie- und Automobilkonzerne, die eigene KI-Rechenkapazitäten für Konstruktion, Simulation und autonomes Fahren aufbauen, heißt das konkret: den Anbieter direkt fragen, wie er Daten zwischen Speicher und Rechenwerk im großen Maßstab bewegen will, nicht nur, wie viele Beschleuniger er ins Rack bekommt, und einen Zeitplan verlangen statt einer Absichtsfolie. Drei konkrete Fragen gehören auf diese Liste: Wie hoch ist die aktuelle Interconnect-Bandbreite des Anbieters pro Knoten, wie sieht seine veröffentlichte CPO- oder Interconnect-Roadmap aus, und wie schneidet diese Roadmap im Vergleich zu den von SK hynix nun öffentlich gemachten Zielen von 100 Tb/s, unter 1 Picojoule und unter 10 Nanosekunden ab.

Dass SK hynix diese Arbeit über sein eigenes Newsroom veröffentlicht, gemeinsam mit fünf Universitäten und einer begutachteten Fachzeitschrift, liest sich wie ein Speicherhersteller, der sich als KI-Infrastrukturunternehmen auf Systemebene neu positioniert. Einkäufer, die diesen Wandel als Hintergrundrauschen behandeln, verhandeln ihre nächste Verlängerung aus einer Position der Unwissenheit; wer Interconnect schon heute auf den Bewertungsbogen setzt, verhandelt aus einer Position der Stärke. Diese Roadmap als Kuriosität der Speicherbranche statt als Beschaffungssignal zu behandeln, ist der Fehler, den die meisten Käufer noch immer machen, und genau dieser Fehler sollte mit der Veröffentlichung dieser Roadmap korrigiert werden.

Weiterlesen: Meta beantragt eigene Seekabel-Leitung nach Dänemark  |  Amazon lieh sich 25 Milliarden Dollar für KI-Kapazität