Nvidia propone una solución de diseño colaborativo de memoria AI full stack; en la plataforma Vera Rubin, la capacidad de memoria por GPU aumenta solo alrededor de un 3%, mientras que el rendimiento de inferencia se incrementa hasta 30 veces.

NVIDIA afirma que, a medida que los modelos de IA se expanden, las ventanas de contexto se prolongan y las aplicaciones de agentes inteligentes se popularizan, la presión sobre la memoria GPU sigue aumentando, y el suministro de HBM se ajusta junto con el aumento de precios. NVIDIA propone mejorar la eficiencia en el uso de la memoria mediante el diseño colaborativo de GPU, CPU, redes, almacenamiento y software, en lugar de simplemente incrementar la capacidad de memoria de la GPU. En concreto, NVIDIA comprime los pesos del modelo y el KV Cache utilizando el formato de baja precisión NVFP4, traslada los contextos temporalmente inactivos a capas de almacenamiento más económicas, y libera espacio HBM mediante el despliegue distribuido en múltiples GPUs. NVIDIA reveló que, en las pruebas de SemiAnalysis AgentX, el GB300 NVL72 alcanzó, bajo ciertas cargas de trabajo, un rendimiento de inferencia por unidad de costo hasta 10 veces mayor que la plataforma H200. Por su parte, el Vera Rubin NVL72 logró hasta 30 veces más rendimiento por unidad de costo respecto al GB300 NVL72, mientras que la capacidad de HBM por GPU solo aumentó alrededor de un 3%.