Inilunsad ng Nvidia ang AI memory full-stack collaborative design solution; Sa Vera Rubin platform, tumaas lamang ng halos 3% ang GPU memory kada isa ngunit umabot hanggang 30x ang pagtaas ng inference throughput.

Ayon sa Nvidia, habang lumalaki ang sukat ng mga AI modelo, humahaba ang context window, at nagiging laganap ang aplikasyong intelligent agent, patuloy ding tumataas ang pressure sa GPU memory, nagiging mas mahigpit ang supply ng HBM, at tumataas ang presyo. Iminungkahi ng Nvidia na pataasin ang efficiency ng memory usage sa pamamagitan ng coordinated na disenyo ng GPU, CPU, network, storage, at software, imbes na basta-bastang dagdagan ang kapasidad ng GPU memory. Sa partikular, ginagamit ng Nvidia ang NVFP4 low-precision format para i-compress ang model weights at KV Cache, inilipat ang mga pansamantalang hindi aktibong context sa mas murang storage layer, at ginagamit ang multi-GPU distributed deployment para magpalaya ng HBM space. Ibinunyag ng Nvidia na sa SemiAnalysis AgentX test, ang GB300 NVL72 ay may maximum unit cost inference throughput na umabot sa 10 beses ng sa H200 platform sa partikular na workload; ang Vera Rubin NVL72 ay may hanggang 30 beses na mas mataas na unit cost inference throughput kumpara sa GB300 NVL72, habang ang single GPU HBM capacity ay tumaas lamang ng humigit-kumulang 3%.