Marvell lance la deuxième génération d'extension de mémoire CXL, supportant jusqu'à 9 To de mémoire DDR4.

Marvell vise à répondre à la croissance de la demande générée par la mise à niveau des infrastructures d’IA pour l’inférence, grâce à des solutions d’extension de mémoire de plus grande capacité et de bande passante supérieure.

Selon Bloomberg, le 12 octobre, Marvell a officiellement lancé la deuxième génération de ses extensions de mémoire Structera X 3406 et 3506 CXL. L’entreprise affirme qu’il s’agit des premiers extendeurs de mémoire CXL 3.2 à six canaux du secteur, avec un seul contrôleur prenant en charge jusqu’à 9 To de mémoire DDR4 ou 6 To de DDR5, ce qui représente une augmentation de 50 % du nombre de canaux mémoire par rapport à la génération précédente. Les deux produits devraient commencer à être échantillonnés auprès des clients au premier trimestre 2027.

Ce lancement vise à remédier au goulot d’étranglement en mémoire, de plus en plus prononcé pour les charges de travail d’inférence de l’IA. L’agrandissement des modèles de langage de grande taille (LLM), l’extension de la fenêtre de contexte et la croissance rapide des besoins en cache KV exercent désormais une pression considérable sur la capacité et la bande passante mémoire des architectures serveur traditionnelles, faisant de la mémoire un facteur clé limitant les performances de l’IA et l’efficacité de l’infrastructure.

Des entreprises telles qu’AMD, Arm, Alibaba, Samsung et SK Hynix ont toutes exprimé leur soutien aux nouveaux produits et à la coopération dans l’écosystème associé.

Mise à niveau technologique clé : plus de canaux, capacité accrue

Structera X 3406 et 3506 offrent, par rapport à la génération précédente, des avancées au niveau des canaux mémoire, de la capacité d’extension et de la performance de compression.

Les deux modèles prennent en charge la mémoire à six canaux. Ainsi, le 3406 prend en charge jusqu’à 18 emplacements DDR4 RDIMM pour une capacité maximale de 9 To, tandis que le 3506 propose 12 emplacements DDR5 RDIMM pour une capacité maximale de 6 To. Au niveau de l’interconnexion hôte, tous deux permettent à jusqu’à quatre hôtes de partager les ressources mémoire, avec une bande passante d’interconnexion maximum de 256 Go/s via une interface PCIe 6.0 x16.

En matière de performance de compression, les nouveaux produits embarquent un moteur de compression LZ4, avec un débit de compression/décompression allant jusqu’à 250 Go/s, soit une amélioration par 5 par rapport à la génération précédente, pouvant multiplier la capacité mémoire effective par 2 à 3.

Marvell indique que, dans des scénarios d’inférence de grands modèles de langage, les nouveaux produits peuvent réduire le temps de réponse du premier octet (TTFT) de 40 à 50 % pour une longueur de contexte identique ; dans le domaine des modèles de recommandation de deep learning (DLRM), un seul contrôleur peut doubler les requêtes par seconde et multiplier par 2 à 3 la capacité effective de la table d’embedding.

Ciblant les data centers hyperscale, expansion continue de l’écosystème

Marvell précise que la deuxième génération de Structera X repose sur la pile logicielle et les solutions d’intégration écosystémiques des produits de première génération 2404/2504, déjà livrés à des clients de data centers hyperscale, afin d’accélérer l’adoption des nouveaux produits par les clients.

De nombreux partenaires du secteur ont exprimé publiquement leur soutien. Raghu Nambiar, vice-président d’entreprise chez AMD, a déclaré que la coopération entre les deux parties, reposant sur la performance et l’évolutivité des processeurs EPYC, aide les entreprises à étendre leur mémoire et à améliorer l’efficacité de l’utilisation des ressources face à la demande croissante en applications IA et data-intensive.

Eddie Ramirez, vice-président du go-to-market cloud AI chez Arm, a déclaré que Structera X introduit CXL 3.2, l’extension mémoire et la compression dans l’écosystème Arm, offrant plus de choix pour exploiter efficacement les charges de travail IA complexes dans les data centers hyperscale.

Jangseok Choi, vice-président de la planification des produits mémoire chez Samsung Electronics, et Uksong Kang, responsable de la planification et de l’habilitation des produits de nouvelle génération chez SK Hynix, ont indiqué que leurs entreprises ont validé les produits Structera en association avec leurs modules DDR respectifs.

Perfectionner la gamme de produits CXL et déployer la mémoire mutualisée et l’architecture désagrégée

Will Chu, vice-président exécutif et directeur général des solutions cloud personnalisées chez Marvell, affirme que l’entreprise est le seul fournisseur du secteur à proposer une gamme complète de produits CXL de bout en bout, couvrant plusieurs niveaux : Structera X pour l’extension mémoire, Structera A pour l’accélération proche mémoire, et le PFMA (Photonic Fabric™ Memory Appliance) pour le partage de mémoire CXL au niveau du rack, couvrant l’ensemble des cas d’utilisation, de l’extension de mémoire directe à la mutualisation et la désagrégation de la mémoire.

Jim Handy, directeur général du cabinet d’études Objective Analysis, souligne que CXL se déploie progressivement dans les systèmes IA où ses caractéristiques de haute bande passante et de grande capacité apporteront des avantages substantiels. Il ajoute que, dans un contexte de tension sur l’approvisionnement et de prix élevés de la mémoire, les responsables IT envisagent l’utilisation de CXL pour réutiliser les modules de mémoire DDR4 dans les systèmes DDR5, afin de réduire les coûts ; les contrôleurs dotés de fonctionnalités de compression mémoire pourraient d’ailleurs renforcer l’attractivité de ces solutions.

Structera X 3406 et 3506 seront présentés lors du OCP Global Summit à San Jose, Californie, du 12 au 15 octobre, avec un lancement prévu des échantillons commerciaux au premier trimestre 2027.