O muro de largura de banda atrás da corrida ao cálculo
Os compradores de infraestrutura de IA passaram dois anos a comparar o número de GPU e os FLOPS enquanto uma limitação mais silenciosa se fechava à sua volta: o próprio plano da SK hynix afirma agora que o desempenho de cálculo triplicou, grosso modo, a cada dois anos, enquanto a largura de banda de interligação, as ligações de dados entre a memória e os processadores, avançou apenas cerca de 1,4x no mesmo período. Esse desequilíbrio tem sido invisível na maioria das conversas de compras, que durante dois anos giraram quase exclusivamente em torno do número de GPU, dos FLOPS e, mais recentemente, da capacidade de HBM, com a cablagem entre chips quase nunca mencionada num caderno de encargos.
Esse fosso é o que os engenheiros da empresa chamam um muro de largura de banda. As interligações de cobre convencionais chocam com limitações físicas inerentes à medida que a distância entre chips aumenta, pelo que um cluster com mais GPU do que nunca pode ainda assim ficar sem dados no momento em que esses chips precisam de comunicar entre si através de um rack ou de uma placa. A posição do artigo é clara: é a interligação, e não o cálculo puro, que se está a tornar a limitação real do desempenho da infraestrutura de IA. A física por trás desta limitação é simples: quanto mais longa fica uma pista ou um cabo de cobre, mais força o sinal perde por resistência e mais ruído eléctrico recolhe de linhas vizinhas, pelo que os engenheiros têm de abrandar o sinal ou gastar energia desproporcionada para o fazer passar, e às distâncias de um rack ou de uma sala de dados essa troca já não é favorável.
O que o plano da SK hynix promete realmente
O plano surge num artigo avaliado por pares, Co-packaged optics for high-performance computing and artificial intelligence, publicado na Nature Electronics e coescrito com a Universidade da Virgínia, a Universidade de Illinois em Urbana-Champaign, a Nanyang Technological University, o MIT e a Universidade Yonsei. Fixa três metas concretas para a infraestrutura de IA de próxima geração construída em torno da óptica co-empacotada, ou CPO: mais de 100 Tb/s de largura de banda por nó, um consumo de energia inferior a 1 picojoule por bit, e uma latência entre chips inferior a 10 nanossegundos. A lista de cinco universidades coautoras, entre os Estados Unidos, Singapura e a Coreia do Sul, mostra que isto está a ser tratado como um desafio de engenharia partilhado por todo o setor, e não como uma meta interna de uma única empresa.
| Métrica | Interligação de cobre típica hoje | Meta do plano CPO da SK hynix |
|---|---|---|
| Largura de banda por nó | Da ordem de vários Tb/s | Mais de 100 Tb/s |
| Energia por bit | Cerca de 5-15 picojoules por bit | Menos de 1 picojoule por bit |
| Latência entre chips | Dezenas de nanossegundos | Menos de 10 nanossegundos |
O CPO atinge estes números ao integrar fisicamente os motores ópticos no mesmo encapsulamento do processador ou da memória, substituindo transceptores ópticos ligáveis separados e as ligações de cobre que os alimentam. Encurtar a distância eléctrica que um sinal tem de percorrer reduz simultaneamente a energia perdida por resistência e o tempo perdido na transmissão, razão pela qual as três metas do plano avançam em conjunto em vez de se compensarem entre si. Isto importa porque a maioria das tentativas de resolver apenas uma parte do muro de largura de banda, pistas de cobre mais largas, mais canais em paralelo, relógios mais rápidos, tende a agravar o consumo de energia ou a latência noutro ponto; o CPO é apresentado como uma forma de mover as três cifras na direção certa ao mesmo tempo.
Porque isto é um problema de compras e não só de engenharia
Nos últimos dois anos, as decisões de compra de infraestrutura de IA, contratos de cloud, clusters de GPU on-premise, acordos de colocation, têm sido avaliadas quase exclusivamente com base no cálculo e, mais recentemente, na capacidade e largura de banda da memória. O próprio plano da SK hynix é, na prática, uma admissão pública de que o próximo estrangulamento, e por isso o próximo ponto de dependência do fornecedor e de poder de fixação de preços, está na camada de interligação que a maioria dos compradores empresariais atualmente não avalia de todo. Um caderno de encargos típico para cloud ou clusters de GPU pergunta hoje pela geração do acelerador, pela largura de banda de memória e pelo consumo por rack, mas raramente pede a um fornecedor que descreva o seu plano de interligação ou CPO.
A consequência para uma empresa europeia que assina um contrato plurianual de infraestrutura de IA ou de cloud é concreta: um cluster que hoje parece à prova de futuro pelo número de GPU e pela capacidade de HBM pode ficar sem largura de banda muito antes de ficar sem cálculo. O fornecedor que controla a camada de interligação óptica, e não apenas o chip, terá um poder de fixação de preços desproporcionado no próximo ciclo de renovação de hardware. A maioria dos contratos empresariais de infraestrutura de IA já dura entre três e cinco anos, o que significa que uma decisão tomada este ano determina qual o fornecedor que mantém essa vantagem até cerca de 2029 ou 2030.
O que perguntar antes da próxima renovação
As equipas de compras e de infraestrutura que avaliam fornecedores de cloud ou de hardware de IA devem começar a perguntar pelos planos de interligação e CPO agora, e não apenas quando o contrato atual chegar à renovação. Nos mercados europeus onde os grandes operadores de centros de dados estão a expandir rapidamente a capacidade de IA, isso significa perguntar diretamente ao fornecedor como planeia mover dados entre memória e cálculo em grande escala, e não apenas quantos aceleradores consegue instalar num rack, exigindo um calendário em vez de um slide de intenções. Devem constar dessa lista três perguntas concretas: qual é a largura de banda de interligação atual do fornecedor por nó, qual é o seu plano publicado de CPO ou de interligação óptica, e como se compara esse plano com as metas de mais de 100 Tb/s, menos de 1 picojoule e menos de 10 nanossegundos que a SK hynix já tornou públicas.
O facto de a SK hynix publicar este trabalho através da sua própria sala de imprensa, junto com cinco universidades e uma revista avaliada por pares, lê-se como um fornecedor de memória a reposicionar-se como uma empresa de infraestrutura de IA a nível de sistema. Os compradores que tratarem esta mudança como ruído de fundo vão negociar a sua próxima renovação a partir de uma posição de desconhecimento; os que colocarem a interligação na sua grelha de avaliação desde já negociarão a partir de uma posição de força. Tratar este plano como uma curiosidade da indústria da memória em vez de um sinal de compras é o erro que a maioria dos compradores ainda comete, e é exatamente o erro que este plano foi publicado para corrigir.
Leia a seguir: Meta quer um cabo submarino próprio para a Dinamarca | A Amazon pediu 25 mil milhões emprestados para IA
