Il muro di banda dietro la corsa al calcolo
Gli acquirenti di infrastrutture IA hanno passato due anni a confrontare numero di GPU e FLOPS mentre un vincolo più silenzioso si stringeva attorno a loro: la roadmap pubblicata da SK hynix afferma ora che la potenza di calcolo è triplicata circa ogni due anni, mentre la banda di interconnessione, i collegamenti dati tra memoria e processori, è avanzata solo di circa 1,4 volte nello stesso periodo. Questo squilibrio è stato invisibile nella maggior parte delle conversazioni di procurement, che per due anni hanno ruotato quasi interamente attorno al numero di GPU, ai FLOPS e, più di recente, alla capacità HBM, mentre il collegamento fisico tra i chip veniva raramente menzionato in una richiesta di offerta.
Questo scarto è ciò che gli ingegneri dell'azienda chiamano un muro di banda. Le interconnessioni in rame convenzionali incontrano limitazioni fisiche intrinseche quando la distanza tra i chip aumenta, così che un cluster con più GPU che mai può comunque restare a corto di dati nel momento in cui quei chip devono comunicare tra loro attraverso un rack o una scheda. L'impostazione dell'articolo è netta: l'interconnessione, non il calcolo puro, sta diventando il vincolo reale delle prestazioni dell'infrastruttura IA. La fisica dietro questo limite è semplice: più una traccia o un cavo di rame si allunga, più il segnale perde forza per resistenza e più rumore elettrico raccoglie dalle linee vicine, così gli ingegneri devono rallentare il segnale o spendere un'energia sproporzionata per farlo arrivare, e alle distanze di un rack o di una sala dati questo compromesso non è più favorevole.
Cosa promette davvero la roadmap di SK hynix
La roadmap compare in un articolo sottoposto a revisione paritaria, Co-packaged optics for high-performance computing and artificial intelligence, pubblicato su Nature Electronics e scritto insieme all'Università della Virginia, all'Università dell'Illinois Urbana-Champaign, alla Nanyang Technological University, al MIT e alla Yonsei University. Fissa tre obiettivi concreti per l'infrastruttura IA di prossima generazione costruita sull'ottica co-impacchettata, o CPO: oltre 100 Tb/s di banda per nodo, un consumo energetico inferiore a 1 picojoule per bit, e una latenza chip-to-chip inferiore a 10 nanosecondi. L'elenco di cinque università coautrici, tra Stati Uniti, Singapore e Corea del Sud, segnala che questo viene trattato come una sfida ingegneristica condivisa da tutto il settore e non come un obiettivo interno di una singola azienda.
| Metrica | Interconnessione in rame tipica oggi | Obiettivo della roadmap CPO di SK hynix |
|---|---|---|
| Banda per nodo | Nell'ordine di alcuni Tb/s | Oltre 100 Tb/s |
| Energia per bit | Circa 5-15 picojoule per bit | Meno di 1 picojoule per bit |
| Latenza chip-to-chip | Decine di nanosecondi | Meno di 10 nanosecondi |
Il CPO raggiunge questi numeri integrando fisicamente i motori ottici nello stesso package del processore o della memoria, sostituendo i transceiver ottici collegabili separati e i collegamenti in rame che li alimentano. Accorciare la distanza elettrica che un segnale deve percorrere riduce sia l'energia persa per resistenza sia il tempo perso nella trasmissione, motivo per cui i tre obiettivi della roadmap avanzano insieme invece di scambiarsi a vicenda. Questo conta perché la maggior parte dei tentativi di risolvere una sola parte del muro di banda, tracce di rame più larghe, più corsie parallele, clock più alti, tende a peggiorare il consumo energetico o la latenza altrove; il CPO viene presentato come un modo per muovere tutte e tre le cifre nella direzione giusta insieme.
Perché è un problema di procurement, non solo di ingegneria
Negli ultimi due anni le decisioni di acquisto di infrastrutture IA, contratti cloud, cluster GPU on-premise, accordi di colocation, sono state valutate quasi esclusivamente sul calcolo e, più di recente, sulla capacità e sulla banda della memoria. La roadmap di SK hynix è di fatto un'ammissione pubblica che il prossimo collo di bottiglia, e quindi il prossimo punto di lock-in verso il fornitore e di potere sui prezzi, si trova nello strato di interconnessione che la maggior parte degli acquirenti aziendali oggi non valuta affatto. Una tipica richiesta di offerta per cloud o cluster GPU oggi chiede la generazione dell'accelerator, la banda di memoria e il consumo per rack, ma raramente chiede al fornitore di descrivere la propria roadmap di interconnessione o CPO.
La conseguenza per un'azienda europea che firma un contratto pluriennale di infrastruttura IA o cloud è concreta: un cluster che oggi appare a prova di futuro per numero di GPU e capacità HBM può restare a corto di banda molto prima di restare a corto di calcolo. Il fornitore che controlla lo strato di interconnessione ottica, non solo il chip, otterrà un potere di determinazione dei prezzi sproporzionato nel prossimo ciclo di rinnovo dell'hardware. La maggior parte dei contratti aziendali di infrastruttura IA dura già dai tre ai cinque anni, il che significa che una decisione presa quest'anno stabilisce quale fornitore mantiene quel vantaggio fino al 2029 o 2030 circa.
Cosa chiedere prima del prossimo rinnovo
I team di procurement e infrastruttura che valutano fornitori cloud o hardware IA dovrebbero iniziare a chiedere roadmap di interconnessione e CPO ora, non quando il contratto attuale arriva al rinnovo. Per i grandi acquirenti industriali italiani, dall'automotive all'aerospazio, che stanno mettendo in produzione carichi di lavoro IA su larga scala, significa chiedere direttamente al fornitore come intende muovere i dati tra memoria e calcolo su scala, non solo quanti acceleratori riesce a montare in rack, e chiedere un calendario invece di una slide di intenzioni. In quella lista devono comparire tre domande concrete: qual è la banda di interconnessione attuale del fornitore per nodo, qual è la sua roadmap pubblicata di CPO o interconnessione ottica, e come si confronta con gli obiettivi di oltre 100 Tb/s, meno di 1 picojoule e meno di 10 nanosecondi che SK hynix ha ora reso pubblici.
Il fatto che SK hynix pubblichi questo lavoro tramite la propria redazione, insieme a cinque università e a una rivista sottoposta a revisione paritaria, si legge come un fornitore di memoria che si riposiziona come azienda di infrastruttura IA a livello di sistema. Gli acquirenti che trattano questo cambiamento come rumore di fondo negozieranno il prossimo rinnovo da una posizione di scarsa conoscenza; quelli che mettono l'interconnessione nella scheda di valutazione già oggi negozieranno da una posizione di forza. Trattare questa roadmap come una curiosità del settore della memoria invece che come un segnale di procurement è l'errore che la maggior parte degli acquirenti commette ancora, ed è proprio l'errore che questa roadmap è stata pubblicata per correggere.
Da leggere ora: Meta vuole un cavo sottomarino proprio in Danimarca | Amazon ha preso in prestito 25 miliardi per l'IA
