Nvidia diventa efficiente. La rete no.

L'affermazione sull'efficienza confermata sia da Nvidia sia da SemiAnalysis

All'AI Infra Summit di Santa Clara, il 15 settembre, davanti a oltre 8.000 persone, il vicepresidente Nvidia per l'hyperscale e l'high performance computing, Ian Buck, ha presentato l'argomento di efficienza per la prossima generazione di hardware dell'azienda. Secondo Nvidia, la piattaforma Vera Rubin NVL72, abbinata alla tecnologia software e di rete "3 LPX" del partner Groq, offre fino a 35 volte più throughput di token per megawatt rispetto all'attuale generazione GB200 NVL72, su modelli con più di due mila miliardi di parametri. Il design di riferimento "DSX MaxLPS" aggiunge fino al 40 per cento in più di capacità GPU nello stesso budget elettrico del sito e, secondo Nvidia, non servono nuove linee elettriche per ottenerlo.

La parte insolita è che un test indipendente conferma buona parte dell'affermazione. SemiAnalysis ha eseguito il proprio benchmark "AgentX" su un carico di lavoro DeepSeek V4 Pro e ha misurato fino a 30 volte più throughput per megawatt per Vera Rubin NVL72 rispetto al precedente GB300 NVL72, una cifra abbastanza vicina a quella di Nvidia da far sembrare il guadagno di efficienza reale e non solo aritmetica di marketing. Anche il caso cliente di Nvidia va nella stessa direzione: il fornitore cloud Lambda ha dichiarato un miglioramento del 23 per cento nelle prestazioni per watt dopo il passaggio a DSX MaxLPS su hardware Blackwell, con il throughput di token dell'intero cluster salito da circa 4 milioni a 5 milioni di token al secondo.

Cosa dicono i numeri dell'AIE sulla rete elettrica

Di quella efficienza non c'è traccia come calo della domanda nei numeri dell'Agenzia Internazionale dell'Energia. Nel suo rapporto "Energy and AI", l'AIE prevede che la generazione elettrica mondiale per i data center salga da 460 terawattora nel 2024 a oltre 1.000 terawattora entro il 2030, fino a 1.300 terawattora entro il 2035. Della crescita aggiuntiva della domanda tra il 2024 e il 2030, le rinnovabili coprono quasi il 50 per cento, crescendo di circa il 22 per cento l'anno, ma gas naturale e carbone insieme forniscono ancora oltre il 40 per cento di quella stessa nuova domanda, e il nucleare diventa un contributo rilevante solo verso la fine del decennio.

Questo mix di partenza spiega da dove vengono le emissioni. L'AIE prevede che le emissioni di CO2 dei data center salgano fino a un picco di circa 320 milioni di tonnellate entro il 2030, prima di un calo solo lieve fino a circa 300 milioni di tonnellate entro il 2035. Negli Stati Uniti in particolare, l'agenzia prevede che il gas naturale aggiunga oltre 130 terawattora di nuova generazione annua tra il 2024 e il 2030, contro 110 terawattora dalle rinnovabili nello stesso periodo.

Il numero su cui un operatore europeo dovrebbe davvero pianificare

I numeri di efficienza di Nvidia sono già un risultato ingegneristico autentico. Un guadagno da 30 a 35 volte nei token per megawatt, verificato in modo indipendente da SemiAnalysis e non solo dichiarato da Nvidia, riduce il costo di calcolo di qualsiasi carico di lavoro IA, e i numeri di produzione di Lambda lo confermano. Però l'affermazione risponde a una domanda ingegneristica sul design di chip e rack, ed è quindi una domanda diversa da quella che un responsabile compliance o un direttore finanziario calcola davvero quando modella il consumo elettrico di un impianto e l'esposizione al carbonio della propria catena di fornitura.

I numeri dell'AIE danno a quella seconda domanda la propria risposta: il consumo elettrico totale dei data center più che raddoppierà entro il 2030 a prescindere da quanto efficiente diventi una singola generazione di chip, perché il volume di calcolo IA in costruzione cresce più veloce della curva di efficienza. I numeri di token per megawatt dei fornitori appartengono già a un modello di costo totale di proprietà. Il dato sulle emissioni che alimenta la pianificazione dei costi legata al CBAM, la rendicontazione ESG e la negoziazione di un accordo di acquisto di energia viene però dal mix energetico che costruisce la rete, non da un comunicato stampa di un produttore di chip, e gli operatori europei dovrebbero perciò tenere le due curve su fogli di calcolo separati.

Perché lo facciamo

Lo facciamo per chiunque stia cercando di stare al passo con ciò che la tecnologia sta facendo alle nostre vite. Le persone che la costruiscono, e le persone a cui accade. Il Servola Journal esiste perché ciò che impariamo appartenga a tutti loro.

Nessuno ci paga per questo. Niente pubblicità, niente muro a pagamento, gratis per tutti. Crediamo semplicemente che capire ciò che sta succedendo a tutti noi non dovrebbe dipendere da chi può permetterselo.

Se oggi questo ti ha dato qualcosa, dicci di continuare. Seguici, lascia un like o scrivi un commento positivo. Li leggiamo tutti, e sono loro a tenerci in movimento.

Da leggere ora: L'Ohio non pagherà la rete per il campus da 8GW di OpenAI  |  Il chip che Nvidia ha concesso in licenza da Groq ora si produce