Marvell lancia il secondo generazione di espansore di memoria CXL, supportando fino a 9TB di memoria DDR4

Marvell sta puntando all'espansione della memoria con maggiore capacità e larghezza di banda, mirando alla crescente domanda derivante dall'aggiornamento delle infrastrutture di AI inference.

Secondo Bloomberg, il 12 ottobre, Marvell ha presentato ufficialmente i nuovi Structera X 3406 e 3506 CXL Memory Expander di seconda generazione. L'azienda afferma che si tratta dei primi memory expander CXL 3.2 a sei canali del settore: ogni controller supporta fino a 9TB di memoria DDR4 o 6TB di DDR5, con un numero di canali di memoria aumentato del 50% rispetto alla generazione precedente. I due prodotti saranno disponibili per i clienti in campioni a partire dal primo trimestre del 2027.

Il lancio intende affrontare il crescente collo di bottiglia della memoria nei carichi di lavoro AI inference. Con l’espansione dei modelli linguistici di grandi dimensioni (LLM), l’allungamento delle finestre di contesto e la rapida crescita della domanda di cache KV, la capacità e la larghezza di banda della memoria nelle architetture dei server tradizionali stanno affrontando crescenti pressioni, la memoria diventa così un fattore chiave che limita le prestazioni dell’AI e l’efficienza dell’infrastruttura.

Aziende come AMD, Arm, Alibaba, Samsung e SK Hynix hanno tutte espresso supporto per i nuovi prodotti e collaborazioni ecosistemiche correlate.

Upgrade tecnologico chiave: più canali, maggiore capacità

Structera X 3406 e 3506 apportano miglioramenti rispetto ai prodotti di generazione precedente in termini di canali di memoria, capacità di espansione e prestazioni di compressione.

Nella configurazione della memoria, entrambi i prodotti supportano sei canali di memoria. In particolare, il 3406 supporta 18 slot DDR4 RDIMM fino a una capacità massima di 9TB; il 3506 supporta 12 slot DDR5 RDIMM per una capacità massima di 6TB. Per quanto riguarda l’interconnessione host, entrambi i prodotti permettono la condivisione delle risorse di memoria fino a quattro host, con una larghezza di banda fino a 256GB/s, utilizzando interfaccia PCIe 6.0 x16.

In termini di prestazioni di compressione, i nuovi prodotti integrano un motore di compressione LZ4, raggiungendo throughput di compressione e decompressione fino a 250GB/s, cinque volte superiori alla generazione precedente, permettendo di espandere la capacità di memoria effettiva da due a tre volte quella originale.

Marvell afferma che, negli scenari di inference dei grandi modelli linguistici, i nuovi prodotti possono ridurre il tempo al primo byte (TTFT) del 40%-50% a parità di lunghezza del contesto; negli scenari di Deep Learning Recommendation Model (DLRM), il numero massimo di query al secondo per singolo controller può raddoppiare, mentre la capacità effettiva delle tabelle di embedding può essere aumentata da due a tre volte.

Puntare ai data center su larga scala, cooperazione ecosistemica in continua espansione

Marvell afferma che la seconda generazione di Structera X mantiene lo stack software e le soluzioni di integrazione ecosistemica già adottate dai clienti di data center di grandissime dimensioni con i prodotti di prima generazione 2404/2504, con l’obiettivo di accelerare l’introduzione dei nuovi prodotti presso i clienti.

Diversi partner del settore hanno espresso pubblicamente il loro supporto. Raghu Nambiar, Vice Presidente Corporate di AMD, ha dichiarato che la collaborazione tra le due aziende, basata sulle prestazioni e la scalabilità dei processori EPYC, aiuta le imprese a espandere la capacità di memoria e a migliorare l’efficienza nell’utilizzo delle risorse, in risposta alla crescente domanda di AI e applicazioni data-intensive.

Eddie Ramirez, Vice Presidente cloud AI go-to-market di Arm, ha affermato che Structera X porta CXL 3.2, espansione e compressione della memoria nell’ecosistema Arm, offrendo più opzioni per l’esecuzione efficiente di carichi di lavoro AI complessi nei data center hyperscale.

Jangseok Choi, vicepresidente della pianificazione prodotto memoria di Samsung Electronics, e Uksong Kang, responsabile della pianificazione e abilitazione di prodotti di nuova generazione di SK Hynix, hanno dichiarato che le loro aziende hanno già completato, insieme a Marvell, la verifica della compatibilità tra i prodotti Structera e le rispettive memorie DDR.

Completa la gamma di prodotti CXL, strategia per il pooling e la decomposizione della memoria

Will Chu, Vice Presidente Esecutivo e General Manager delle soluzioni cloud personalizzate di Marvell, ha dichiarato che l’azienda è l’unico fornitore del settore a offrire una gamma completa di prodotti CXL end-to-end, che coprono diversi livelli: Structera X per l’espansione della memoria, Structera A per l’accelerazione near-memory e PFMA (Photonic Fabric™ Memory Appliance) per la condivisione della memoria CXL a livello di rack, coprendo diversi scenari applicativi dalla memoria direttamente collegata al pooling e alla decomposizione della memoria.

Jim Handy, General Manager della società di ricerca di mercato Objective Analysis, ha sottolineato che CXL sta progressivamente trovando applicazione nei sistemi AI, e che le sue caratteristiche di ampia banda e grande capacità promettono benefici significativi. Ha inoltre affermato che, in un contesto di scarsità e prezzi elevati della memoria, i responsabili IT stanno valutando l’utilizzo di CXL per riutilizzare i moduli di memoria DDR4 nei sistemi DDR5, a scopo di riduzione dei costi; i controller dotati di funzionalità di compressione della memoria aumentano ulteriormente l’attrattiva di questo tipo di soluzione.

Structera X 3406 e 3506 saranno presentati dal 12 al 15 ottobre all’OCP Global Summit di San Jose, California; i campioni ufficiali saranno disponibili entro il primo trimestre 2027.