SK hynix: l'interconnexion, prochaine limite de l'IA

Le mur de bande passante derrière la course au calcul

Les acheteurs d'infrastructures IA ont passé deux ans à comparer le nombre de GPU et les FLOPS pendant qu'une contrainte plus discrète se refermait autour d'eux : la propre feuille de route de SK hynix affirme désormais que la puissance de calcul a environ triplé tous les deux ans, tandis que la bande passante d'interconnexion, les liaisons de données entre la mémoire et les processeurs, n'a progressé que d'environ 1,4x sur la même période. Ce déséquilibre est resté invisible dans la plupart des discussions d'achat, qui depuis deux ans tournent presque exclusivement autour du nombre de GPU, des FLOPS et, plus récemment, de la capacité HBM, le câblage entre les puces étant à peine mentionné dans un appel d'offres.

Cet écart, les ingénieurs de l'entreprise l'appellent un mur de bande passante. Les interconnexions en cuivre classiques se heurtent à des limitations physiques inhérentes lorsque la distance entre les puces augmente, si bien qu'un cluster comptant plus de GPU que jamais peut quand même manquer de données au moment où ces puces doivent communiquer entre elles via un rack ou une carte. Le constat de l'article est net : c'est l'interconnexion, et non le calcul brut, qui devient la contrainte réelle des performances de l'infrastructure IA. La physique derrière cette limite est simple : plus une piste ou un câble en cuivre s'allonge, plus le signal perd de force par résistance et capte de bruit électrique des lignes voisines, si bien que les ingénieurs doivent soit ralentir le signal, soit dépenser une énergie disproportionnée pour le faire passer, et aux distances d'un rack ou d'une salle de données ce compromis n'est plus favorable.

Ce que promet vraiment la feuille de route de SK hynix

Cette feuille de route figure dans un article évalué par des pairs, Co-packaged optics for high-performance computing and artificial intelligence, publié dans Nature Electronics et coécrit avec l'université de Virginie, l'université de l'Illinois à Urbana-Champaign, la Nanyang Technological University, le MIT et l'université Yonsei. Elle fixe trois objectifs concrets pour l'infrastructure IA de prochaine génération construite autour de l'optique co-packagée, ou CPO : plus de 100 Tb/s de bande passante par noeud, une consommation d'énergie inférieure à 1 picojoule par bit, et une latence puce à puce inférieure à 10 nanosecondes. La liste de cinq universités coauteures, entre les États-Unis, Singapour et la Corée du Sud, indique que ceci est traité comme un défi d'ingénierie partagé par tout le secteur et non comme un objectif interne d'une seule entreprise.

Le CPO atteint ces chiffres en intégrant physiquement les moteurs optiques dans le même boîtier que le processeur ou la mémoire, remplaçant les transceivers optiques enfichables séparés et les liaisons en cuivre qui les alimentent. Raccourcir la distance électrique que doit parcourir un signal réduit à la fois l'énergie perdue par résistance et le temps perdu dans la transmission, ce qui explique pourquoi les trois objectifs de la feuille de route avancent ensemble plutôt que de se faire concurrence. Cela compte parce que la plupart des tentatives de corriger une seule partie du mur de bande passante, pistes de cuivre plus larges, davantage de voies parallèles, cadences plus élevées, tendent à aggraver la consommation d'énergie ou la latence ailleurs ; le CPO est présenté comme un moyen de faire progresser les trois chiffres à la fois dans la bonne direction.

Pourquoi c'est un problème d'achats, pas seulement d'ingénierie

Depuis deux ans, les décisions d'achat d'infrastructure IA, contrats cloud, clusters GPU sur site, accords de colocation, sont évaluées presque exclusivement sur le calcul et, plus récemment, sur la capacité et la bande passante mémoire. La feuille de route de SK hynix est en pratique un aveu public que le prochain goulot d'étranglement, et donc le prochain point de dépendance au fournisseur et de pouvoir de fixation des prix, se situe dans la couche d'interconnexion que la plupart des acheteurs d'entreprise n'évaluent aujourd'hui pas du tout. Un appel d'offres type pour le cloud ou un cluster GPU demande aujourd'hui la génération des accélérateurs, la bande passante mémoire et la consommation par rack, mais demande rarement au fournisseur de décrire sa feuille de route d'interconnexion ou de CPO.

La conséquence pour une entreprise européenne qui signe un contrat pluriannuel d'infrastructure IA ou de cloud est concrète : un cluster qui paraît aujourd'hui à l'épreuve du temps par son nombre de GPU et sa capacité HBM peut manquer de bande passante bien avant de manquer de calcul. Le fournisseur qui contrôle la couche d'interconnexion optique, et pas seulement la puce, disposera d'un pouvoir de fixation des prix disproportionné lors du prochain cycle de renouvellement du matériel. La plupart des contrats d'entreprise pour l'infrastructure IA durent déjà de trois à cinq ans, ce qui signifie qu'une décision prise cette année détermine quel fournisseur conservera ce levier jusque vers 2029 ou 2030.

Que demander avant votre prochain renouvellement

Les équipes achats et infrastructure qui évaluent des fournisseurs cloud ou de matériel IA devraient commencer à demander les feuilles de route d'interconnexion et de CPO maintenant, pas au moment du renouvellement du contrat actuel. Pour les grands opérateurs de cloud souverain et de centres de données français qui montent en puissance sur l'IA, cela signifie demander directement au fournisseur comment il compte déplacer les données entre mémoire et calcul à grande échelle, pas seulement combien d'accélérateurs il peut installer en rack, et exiger un calendrier plutôt qu'une diapositive d'intentions. Trois questions concrètes doivent figurer sur cette liste : quelle est la bande passante d'interconnexion actuelle du fournisseur par noeud, quelle est sa feuille de route publiée de CPO ou d'interconnexion optique, et comment cette feuille de route se compare-t-elle aux objectifs de plus de 100 Tb/s, moins de 1 picojoule et moins de 10 nanosecondes que SK hynix a désormais rendus publics.

Que SK hynix publie ces travaux via sa propre salle de presse, avec cinq universités et une revue évaluée par des pairs, se lit comme un fournisseur de mémoire qui se repositionne en entreprise d'infrastructure IA au niveau système. Les acheteurs qui traitent ce changement comme du bruit de fond négocieront leur prochain renouvellement en position de méconnaissance ; ceux qui inscrivent l'interconnexion dans leur grille d'évaluation dès aujourd'hui négocieront en position de force. Traiter cette feuille de route comme une curiosité du secteur de la mémoire plutôt que comme un signal d'achat est l'erreur que commettent encore la plupart des acheteurs, et c'est précisément l'erreur que cette feuille de route a été publiée pour corriger.

À lire ensuite: Meta veut son propre câble sous-marin au Danemark  |  Amazon a emprunté 25 milliards de dollars pour sa capacité IA