NVIDIA запропонувала повноцінне стекове співкоординування пам’яті для AI: платформа Vera Rubin збільшує об’єм пам’яті на кожному GPU лише приблизно на 3%, але забезпечує зростання пропускної здатності інференсу до 30 разів.

NVIDIA заявила, що зі збільшенням масштабів AI-моделей, подовженням контекстних вікон і широким впровадженням агентних додатків, тиск на пам'ять GPU постійно зростає, постачання HBM стає більш обмеженим, а ціни зростають. NVIDIA пропонує підвищувати ефективність використання пам'яті завдяки спільному проєктуванню GPU, CPU, мереж, сховищ і програмного забезпечення, а не лише шляхом збільшення обсягу пам'яті GPU. Зокрема, NVIDIA використовує формат низької точності NVFP4 для стискання ваг моделей та KV Cache, переносить тимчасово неактивні контексти на дешевший рівень сховища, а також використовує багатографічне розподілене розгортання для вивільнення простору HBM. NVIDIA повідомила, що під час тестування SemiAnalysis AgentX пропускна здатність інференсу на одиницю вартості для GB300 NVL72 при певних навантаженнях у 10 разів вища, ніж у платформи H200; для Vera Rubin NVL72 у порівнянні з GB300 NVL72 цей показник збільшився до 30 разів, при цьому місткість HBM на одному GPU зросла лише приблизно на 3%.