Samsung erstellt einen „dreistufigen HBM-Fahrplan“: Auf dem Weg zu echtem 3D ZHBM, bei dem DRAM direkt auf dem Rechenchip gestapelt wird

Kürzlich hat Sangwook Han vom DRAM-Designteam von Samsung auf der Hot Chips Technology Conference eine Präsentation gehalten und die dreistufige Roadmap zur Entwicklung von HBM bei Samsung offiziell vorgestellt. Das Endziel dieser Roadmap ist eine völlig neue Architektur namens zHBM – bei der DRAM direkt vertikal auf GPU, TPU und anderen Rechenchips gestapelt wird und die 2,5D-Interposer-Schicht vollständig entfällt.

Laut wccftech vom 23. August erklärte Samsung, dass das zHBM-Konzept im Vergleich zum Standard-HBM4E eine 70%ige Reduzierung des Stromverbrauchs, eine 230%ige Steigerung der DRAM-Bandbreite sowie eine Einsparung von 100W Energie pro DRAM-Modul verspricht und gleichzeitig für die GPU 8,3% zusätzliche Leistungskapazität freisetzt.

Was ist HBM und wo liegen die Engpässe?

HBM, also High Bandwidth Memory, ist derzeit eine der wichtigsten Speicherkomponenten in AI-Trainings- und Inferenzsystemen. Es besteht aus zwei Arten von Chips:

• C-die (Kernchip): Enthält DRAM-Speicherzellen und kann bis zu 16 Schichten vertikal gestapelt werden

• B-die (Basis-Chip/Base Die): Befindet sich am unteren Ende des gesamten Stapels, übernimmt verschiedene DRAM-Steuerfunktionen und kommuniziert über PHY (Physical Interface Layer) mit GPU und anderen Rechenchips

Die Verbindung zwischen den beiden Chips erfolgt über TSV (Through-Silicon Via), eine senkrechte leitende Kanalstruktur, die den Chip durchdringt.

Laut Wccftech hat das aktuelle HBM4 eine Bandbreite von über 3TB/s pro Stack, HBM4E erreicht bis zu 4TB/s, und HBM5 verdoppelt die Bandbreite im Vergleich zu HBM4 mit einer Kapazität von über 60GB.

Die stetige Erweiterung der Bandbreite stößt jedoch auf zwei harte Grenzen: Die physikalischen Limitierungen der TSV-Anzahl und -Abstände sowie die Obergrenze der I/O-Anzahl und -Geschwindigkeit der PHY-Schnittstelle im Base Die. Zugleich verringert sich der Fertigungsunterschied zwischen B-die und Rechenschips (xPU SoC) generationenweise, was sowohl eine Herausforderung als auch einen Ansatzpunkt für Samsungs Roadmap bietet.

Phase eins: "Platz machen" für Rechenchips

Das Hauptziel der ersten Phase der Samsung-Roadmap ist es, Siliziumfläche vom xPU (Rechenchip) zurückzugewinnen.

Samsung hat das D1c-Verfahren und die 4nm-Logiktechnologie im Base Die (B-die) von HBM4 implementiert, primär um Stromverbrauch zu senken und die effektive Fläche zu minimieren. Dies markiert den echten Beginn der Integration von DRAM mit fortschrittlicher Logiktechnologie.

Konkret umfasst dies:

• Ersetzen traditioneller HBM PHY durch D2D-Schnittstellen, was die Kanallänge verkürzt, die Energieeffizienz direkt verbessert und gleichzeitig dem XPU wertvolle Siliziumfläche freigibt

• Auslagerung des Speichercontrollers vom XPU in das B-die des cHBM, was voraussichtlich 5% bis 10% Fläche für das XPU freisetzt und 10% bis 20% Leistungssteigerung ermöglicht

• Einführung feingranularer Reparaturlösungen auf SRAM-Basis (Near-MC SRAM-Based Cell Repair), wobei auf dem B-die nicht genutzte Fläche für SRAM-Reparaturressourcen genutzt wird

Der Nebeneffekt der Flächenreduktion ist das Hotspot-Problem. Hierzu hat Samsung die Heat Path Block (HPB)-Technologie vorgestellt, die auf dem cHBM4-Konzept basiert und die Spitzentemperatur um mehr als 35% senken kann, wobei 50% des PHY-Bereichs abgedeckt werden.

Phase zwei: B-die bekommt Rechenleistung

Der Fokus der zweiten Phase verschiebt sich von "Platz schaffen" zu "Funktionserweiterung", definiert von Samsung als Phase der Funktionserweiterung.

Erweiterung der Speicherkapazität. Da die Kontextfenster (context window) großer AI-Modelle massiv wachsen, steigt der Bedarf an KV-Caches (Key-Value Cache, Speicherbereich zum Speichern von Zwischenzuständen während des Modell-Inferenz) exponentiell an. Samsung plant auf nicht genutzter Siliziumfläche des Base Die Speichererweiterungscontroller und PHY zu integrieren, um die Systemkapazität durch externe LPDDR oder HBM-Lösungen zu erhöhen.

Integration von Processing Elements (PE). Samsung schlägt außerdem vor, auf dem Base Die Recheneinheiten (Processing Elements) zu integrieren und dadurch Berechnungen, die sonst auf dem xPU erledigt werden müssten, auf die Speicher-Seite auszulagern. Dadurch wird der Bedarf an D2D-Bandbreite gesenkt und Stromverbrauch und Wärme werden reduziert. Diese Variante wird als AHBM (Advanced HBM, fortschrittlicher High Bandwidth Memory) bezeichnet.

Verbesserte Zuverlässigkeit und Testmöglichkeiten. Die zweite Phase umfasst zudem die Integration fortschrittlicher RAS-Sensoren (Reliability, Availability, Serviceability) und Echtzeit-Telemetrie auf dem Base Die sowie On-Chip-Selbsttest-Funktionen (ATIP), um Yield und Testabdeckung zu erhöhen.

Phase drei: zHBM – Interposer beseitigen, DRAM direkt auf Rechenchips stapeln

Die dritte Phase stellt die ultimative Form der Roadmap dar: zHBM.

Aktuelle AI-Systeme setzen auf 2,5D-Packaging, wobei GPU und HBM nebeneinander auf einem Interposer platziert und über laterale Verbindung Daten übertragen werden. Die zHBM-Idee ist, diese Struktur zu "vertikalisieren" – DRAM wird direkt auf den xPU-Chip gestapelt, was echte 3D-Integration ergibt.

Die von Samsung skizzierten zHBM-Schlüsselfunktionen beinhalten:

• Verteiltes I/O: Minimiert die Entfernungen für Datenübertragung innerhalb des HBM-Stacks

• 3D-Struktur: Eliminiert klassische 2D-Schnittstellen, steigert massiv die Effizienz des Systems

• I/O-Energieverbrauchsziel von etwa 0,5 pJ/bit: Durch das Entfernen redundanter Module wie SerDes erreichbar

• Bandbreitensteigerung von über 2,3-fach, thermischer Spielraum im System bis 100W

Samsung demonstriert eine Lösung, bei der vier zHBM-Stacks auf einen einzelnen XPU gestapelt werden.

Zur Zielerreichung entwickelt Samsung zwei Schlüsselverpackungstechnologien: WoW (Wafer on Wafer) und HCB (Hybrid Cube Bonding), um ultrahohe I/O-Dichte zu ermöglichen und letztlich ein einheitliches SoC-DRAM-Kollaborationsdesign zu schaffen.

Die zentrale Logik hinter der Roadmap

Das zentrale Narrativ von Samsungs Präsentation ist, den Base Die von HBM von einer "passiven Daten-Durchgangsstation" zu einem "aktiven, intelligenten Partner mit Rechenleistung" umzudefinieren.

Die Entwicklungslogik der drei Phasen ist klar: Zuerst Flächenreduktion und xPU-Platzgewinn durch Prozess-Upgrades (Phase eins); dann die Integration zusätzlicher Funktionen, Erweiterung von Kapazität und Rechenfähigkeit auf dem freigesetzten Raum (Phase zwei); letztlich eine vollständige Systemrekonstruktion durch echte 3D-Integration, mit gleichzeitigen Fortschritten in Stromverbrauch, Bandbreite und Wärmemanagement (Phase drei).

Samsung fasst in der Präsentation zusammen: "Durch das Beherrschen fortschrittlicher Verpackungstechnologien und einheitlichem SoC-DRAM-Kollaborationsdesign werden wir die Engpässe bei Stromverbrauch, Chipfläche und Kapazität in AI-Systemen überwinden und den Weg für höhere Effizienz, Leistung und Skalierbarkeit in den kommenden Jahren ebnen."