Nvidia propôs uma solução de design colaborativo de memória para IA em toda a pilha; a capacidade de memória por GPU na plataforma Vera Rubin aumentou apenas cerca de 3%, enquanto a taxa de processamento de inferência teve um aumento máximo de até 30 vezes.

A NVIDIA afirmou que, com a ampliação dos modelos de IA, o aumento da janela de contexto e a popularização das aplicações de agentes inteligentes, a pressão sobre a memória das GPUs continua a crescer, e o fornecimento de HBM está ficando mais restrito, resultando em aumento de preços. A NVIDIA propõe o design colaborativo entre GPU, CPU, rede, armazenamento e software para melhorar a eficiência do uso da memória, em vez de simplesmente aumentar a capacidade de memória da GPU. Especificamente, a NVIDIA utiliza o formato de baixa precisão NVFP4 para comprimir os pesos dos modelos e o KV Cache, transfere contextos temporariamente inativos para uma camada de armazenamento de menor custo e libera espaço HBM através do deployment distribuído em múltiplas GPUs. Segundo a NVIDIA, nos testes SemiAnalysis AgentX, o GB300 NVL72 atingiu throughput de inferência por unidade de custo até 10 vezes maior que a plataforma H200 em determinadas cargas de trabalho; o Vera Rubin NVL72, em comparação ao GB300 NVL72, atingiu aumento de até 30 vezes no throughput de inferência por unidade de custo, enquanto a capacidade de HBM por GPU aumentou apenas cerca de 3%.