Nvidia propone una soluzione di progettazione collaborativa AI per la memoria full-stack: la piattaforma Vera Rubin aumenta la capacità di memoria per GPU di circa il 3%, migliorando il throughput dell'inferenza fino a 30 volte.

Nvidia afferma che, con l'espansione della scala dei modelli di AI, l'estensione della finestra di contesto e la diffusione delle applicazioni agent, la pressione sulla memoria GPU continua ad aumentare, con una crescente scarsità nell'offerta di HBM e un conseguente aumento dei prezzi. Nvidia propone di migliorare l'efficienza dell'uso della memoria tramite una progettazione collaborativa di GPU, CPU, rete, storage e software, invece di limitarsi ad aumentare la capacità della memoria GPU. In particolare, Nvidia comprime i pesi dei modelli e il KV Cache con il formato a bassa precisione NVFP4, trasferisce il contesto temporaneamente inattivo su livelli di storage a costi più bassi, e utilizza un deployment distribuito multi-GPU per liberare spazio HBM. Nvidia ha rivelato che, nei test SemiAnalysis AgentX, GB300 NVL72 raggiunge un throughput di inferenza per unità di costo fino a 10 volte superiore rispetto alla piattaforma H200 su carichi di lavoro specifici; Vera Rubin NVL72, rispetto a GB300 NVL72, migliora questo valore fino a 30 volte, mentre la capacità HBM per GPU aumenta solo di circa il 3%.