---
title: "Vom GPU- zum Speicherfokus: Paradigmenwechsel bei KI-Halbleitern"
locale: de
category: trends
category_name: "Trends"
translation_status: reviewed
license: cc_by
author: "injoys"
source_url: https://injoys.com/en/articles/memory-centric-ai-chips-hbm-hbf-packaging
published_at: 2026-08-17T21:47:47+09:00
---

# Vom GPU- zum Speicherfokus: Paradigmenwechsel bei KI-Halbleitern

> Der Engpass von KI-Systemen verlagert sich von der reinen Rechenleistung auf die Fähigkeit, Daten zu speichern und zu übertragen. Durch die Kombination von HBM, NAND-basiertem HBF, kundenspezifischen Basis-Dies, 3D-Packaging und optischen Interconnects gewinnt speicherzentriertes Computing an Bedeutung, bei dem Beschleuniger und Speicher gemeinsam entwickelt werden.

## Key Points

- Speicherzentriertes Computing zielt nicht darauf ab, GPUs abzuschaffen, sondern Recheneinheiten und Speicherhierarchien gemeinsam zu entwickeln, um die Kosten der Datenübertragung zu senken.
- Lange Kontexte und mehr gleichzeitige Anfragen erhöhen die benötigte Kapazität des KV-Caches. Dadurch werden neben der Bandbreite von HBM auch die gesamte Speicherkapazität und Technologien zur Speicherhierarchisierung wichtiger.
- HBF nutzt die hohe Integrationsdichte von NAND-Flash, dürfte HBM jedoch aufgrund von Latenz, begrenzter Schreibhaltbarkeit und Herausforderungen beim Fehlermanagement eher ergänzen als vollständig ersetzen.
- Architekturen, bei denen Speicher vertikal über oder unter einer GPU gestapelt wird, verkürzen die Leitungslängen, schaffen jedoch neue Einschränkungen hinsichtlich Wärmedichte, Ausbeute, Stromversorgung und Kühlung.
- Maßgeschneidertes HBM erweitert die Beteiligung von Speicherunternehmen am Design, beseitigt jedoch weder die Preisschwankungen bei Speicherprodukten noch die Lieferzyklen selbst.

Die Wettbewerbskriterien für AI-Halbleiter erweitern sich von der bloßen Anzahl an Rechenoperationen auf die Frage, **wie viele Daten mit wenig Strom gespeichert und übertragen werden können**. Bei der groß angelegten AI-Inferenz entstehen Situationen, in denen GPUs nicht deshalb warten, weil sie keine Berechnungen durchführen können, sondern weil die benötigten Modellgewichte und KV-Caches nicht rechtzeitig bereitgestellt werden.

Dieser Wandel wird häufig als „Übergang von GPU-zentrierten zu speicherzentrierten Systemen“ bezeichnet. Das bedeutet jedoch nicht, dass GPUs verschwinden oder ihre Entwicklung zum Stillstand gekommen ist. Genauer gesagt geht es darum, GPU, HBM, externen Speicher, Storage, Netzwerke und Software gemeinsam als ein einziges Datenübertragungssystem zu entwickeln.

## Was ist speicherzentriertes Computing?

**Speicherzentriertes Computing ist ein Ansatz, bei dem Standort, Bandbreite, Kapazität und Rechenfunktionen des Speichers den Ausgangspunkt des Systemdesigns bilden, um die Kosten des wiederholten Transports von Daten zu den Recheneinheiten zu senken.**

Der arithmetische Durchsatz von AI-Chips ist schnell gestiegen, doch das Abrufen von Daten außerhalb des Chips ist vergleichsweise langsam und verbraucht viel Strom. Daher gewinnen die folgenden Technologien gemeinsam an Bedeutung.

- HBM, das nahe an der GPU oder dem AI-Beschleuniger platziert wird
- 3D-Packaging, das Speicher und Logik vertikal verbindet
- maßgeschneidertes HBM, bei dem Steuerungs- oder bestimmte Rechenfunktionen in den Base-Die integriert werden
- Speichererweiterung und Pooling mithilfe von CXL
- HBF-Konzepte, bei denen NAND-Flash über breite Schnittstellen angebunden wird
- optische Interconnects zur Senkung des Energieverbrauchs bei Übertragungen zwischen Chips und Servern
- PIM und Near-Memory Computing, die Daten nahe am Speicher verarbeiten

Der Ausdruck „speicherzentriert“ bezeichnet also nicht ein einzelnes Speicherprodukt. Er steht für ein Systemprinzip, das mehrere Ebenen vom schnellen Speicher bis zum Massenspeicher miteinander verbindet, um Datenbewegungen zu minimieren.

## Warum AI-Inferenz den Speicherengpass verschärft

### Modellgewichte und KV-Caches stellen unterschiedliche Belastungen dar

Der für AI-Inferenz erforderliche Speicher lässt sich im Wesentlichen in Modellgewichte, während der Ausführung erzeugte Aktivierungen und KV-Caches unterteilen. Modellgewichte belegen auch ohne Anfragen eine feste Kapazität, während KV-Caches mit der Länge der Eingabe, der Länge der Ausgabe und der Zahl gleichzeitiger Anfragen wachsen.

Transformer-Modelle speichern die Attention-Key- und Value-Informationen jeder Schicht im KV-Cache, damit frühere Token nicht jedes Mal von Grund auf neu berechnet werden müssen. Vereinfacht ausgedrückt ist die Größe des KV-Caches einer einzelnen Anfrage proportional zu den folgenden Faktoren.

Die genaue Größe des KV-Caches muss anhand der Modellarchitektur und der Implementierungsspezifikationen ermittelt werden.

Im KV-Cache werden Keys und Values jeweils separat gespeichert. Daher wächst der KV-Cache schnell, wenn der Kontext länger wird oder viele Nutzer gleichzeitig verarbeitet werden. Nicht alle Modelle verwenden Millionen von Token, und die Cache-Größe steigt auch nicht einheitlich um das Hundertfache. Klar ist jedoch, dass Langtext-Inferenz und agentenbasierte Aufgaben den Speicherdruck erhöhen.

### Halluzinationen und Speicherkapazität sind nicht dasselbe Problem

Längere Kontexte und Retrieval-Augmented Generation können dem Modell mehr Belege bereitstellen. Halluzinationen verschwinden jedoch nicht allein durch eine Vergrößerung des Speichers. Zusätzlich erforderlich sind die Qualität der Suchergebnisse, der Aufbau der Prompts, die Schlussfolgerungsfähigkeit des Modells sowie Systeme zur Quellenprüfung und Evaluierung.

### Software kann den Bedarf an physischem Speicher reduzieren

Der KV-Cache-Engpass wird nicht allein durch den Ausbau der Hardware gelöst.

- MQA und GQA verringern die Zahl der zu speichernden KV-Heads.
- Quantisierung reduziert die Anzahl der Bytes für Gewichte und Caches.
- PagedAttention verwaltet Caches seitenweise und verringert so Fragmentierung und Verschwendung.
- Continuous Batching bündelt mehrere Anfragen effizient.
- Prefix Caching verwendet wiederkehrende System-Prompts oder gemeinsame Kontexte erneut.
- Cache-Bereinigung und schichtweises Offloading verschieben weniger wichtige Informationen in langsamere Speicher.

Die tatsächlichen Speicherinvestitionen eines Rechenzentrums hängen daher nicht nur von der Modellgröße, sondern auch von der Effizienz der Inferenz-Engine ab.

## Die Speicherhierarchie von AI-Rechenzentren

Ein einzelner Speicher kann Geschwindigkeit, Kapazität, Preis und Energieeffizienz nur schwer gleichzeitig erfüllen. AI-Rechenzentren werden sich voraussichtlich zu einer Hierarchie wie der folgenden entwickeln.

| Ebene | Repräsentative Technologie | Stärke | Wesentliche Einschränkung | Erwartete Rolle |
|---|---|---|---|---|
| Innerhalb des Chips | SRAM, Register | kürzeste Latenz | sehr geringe Kapazität und hohe Flächenkosten | sofort benötigte Daten und Rechenzwischenergebnisse |
| Nahe am Beschleuniger | HBM | hohe Bandbreite und vergleichsweise kurze Latenz | Einschränkungen bei Kapazität, Packaging-Kosten und Wärme | aktive Gewichte, häufig verwendete KV-Caches |
| Serverspeicher | DDR, über CXL angebundener Speicher | größere erweiterbare Kapazität als HBM | größere Entfernung zum Beschleuniger und geringere Bandbreite | Cache-Erweiterung, Modell-Tiering, Speicherpool |
| Hochbandbreiten-Flash | HBF-Konzept | hohe NAND-basierte Dichte und Nichtflüchtigkeit | Leselatenz, Schreibhaltbarkeit, Komplexität der Steuerung | Ebene für weniger häufig verwendete Gewichte und KV-Caches |
| Storage | NVMe SSD | große Kapazität und niedrige Kosten pro Bit | höhere Latenz als Speicher | Checkpoints, Datensätze, kalte Daten |

Entscheidend ist nicht, ob HBM oder HBF gewinnt, sondern dass mehrere Ebenen entsprechend der Nutzungshäufigkeit der Daten eingesetzt werden.

## Der auf der FMS 2026 sichtbare Wettbewerb um Speicher der nächsten Generation

Die im August 2026 im US-amerikanischen Santa Clara veranstaltete FMS behandelte AI-Speicher- und Storage-Architekturen für die Zeit nach HBM als ein zentrales Thema. Im Mittelpunkt der Diskussionen standen höhere Stapel, NAND-basierte Ebenen mit großer Kapazität, maßgeschneiderte Speicher und Verbindungstechnologien für Rechenzentren.

GHBM von Samsung Electronics und HBF, das SK hynix mit Google·SanDisk erörterte, wurden als Beispiele für diese Entwicklung vorgestellt. Allerdings lässt sich nur schwer behaupten, dass Bezeichnungen wie GHBM, HBF und THBM allesamt von JEDEC als allgemeine Generationsnamen mit identischen Spezifikationen festgelegt wurden. Technologien im Ankündigungsstadium, gemeinsame Entwicklungskonzepte und standardisierte kommerzielle Produkte müssen voneinander unterschieden werden.

Auch bedeutet eine höhere Generationsbezeichnung nicht zwangsläufig, dass reale AI-Dienste schneller werden. Effektive Bandbreite, Speicherkapazität, Latenz, Stromverbrauch, Kühlung, Package-Ausbeute und Softwareunterstützung müssen gemeinsam verglichen werden.

## Die Stärken und Kapazitätsgrenzen von HBM

HBM stapelt mehrere DRAM-Dies vertikal und verbindet sie über Through-Silicon Vias und breite Schnittstellen. Sein entscheidender Vorteil besteht darin, dass es nahe am Beschleuniger große Datenmengen parallel bereitstellen kann, anders als herkömmlicher, auf Platinen montierter Speicher.

Die Kapazität von HBM lässt sich jedoch nicht unbegrenzt erhöhen.

1. Mit zunehmender Zahl der Stapelschichten steigen die Anforderungen an Fertigungsausbeute und Prüfung.
2. Die Package-Fläche, auf der GPU und HBM gemeinsam angeordnet werden, wächst.
3. Die von Beschleuniger und Speicher erzeugte Wärme muss auf engem Raum abgeführt werden.
4. Auch die Stromversorgung und die Verdrahtung des Interposers werden komplexer.
5. Werden in teurem HBM auch selten genutzte Daten gespeichert, sinkt die Wirtschaftlichkeit.

Daher gewinnt eine hierarchische Struktur an Bedeutung, bei der HBM die am häufigsten verwendeten Daten übernimmt und der Rest an CXL-Speicher, Flash oder SSDs weitergegeben wird.

## Kann HBF HBM ersetzen?

HBF steht für High Bandwidth Flash und bezeichnet ein Konzept, bei dem NAND-Flash parallelisiert und gestapelt wird, um eine hochbandbreitige Speicherebene zu schaffen, die näher am Beschleuniger liegt als herkömmliche SSDs. Da NAND eine höhere Dichte und Nichtflüchtigkeit als DRAM bietet, kann im gleichen physischen Raum potenziell eine größere Datenmenge gespeichert werden.

NAND besitzt jedoch andere Eigenschaften als DRAM.

- Die Leselatenz ist höher.
- Vor dem Überschreiben ist ein Löschvorgang erforderlich.
- Die Lebensdauer muss anhand der Zahl der Schreibvorgänge verwaltet werden.
- Defekte Blöcke, Fehlerkorrektur und Wear Leveling müssen berücksichtigt werden.
- Große sequenzielle Zugriffe sind vorteilhafter als unregelmäßige Zugriffe in kleinen Einheiten.

Selbst wenn HBF kommerzialisiert wird, dürfte es HBM daher nicht direkt ersetzen, sondern eher als **Ebene mit großer Kapazität zwischen HBM und SSDs** dienen. Leselastige Modellgewichte, selten wiederverwendete Caches, Checkpoints und Suchdaten kommen dafür infrage. Die tatsächliche Eignung hängt von Schnittstellenstandards, Latenz, Haltbarkeit sowie der Unterstützung durch Controller und Inferenzsoftware ab.

## Die von GHBM und THBM aufgeworfenen Probleme des 3D-Packagings

Die seitliche Platzierung von Beschleuniger und HBM nebeneinander im Package stößt bei Verbindungsbreite und Package-Fläche an Grenzen. Um diese zu überwinden, entstehen Konzepte, bei denen Logik und Speicher vertikal gestapelt werden, um die Leitungslängen zu verkürzen.

### Eine Struktur mit Speicher über der GPU

Das als GHBM oder Z-Achsen-HBM vorgestellte Konzept verbindet GPU und HBM vertikal, um die Entfernung der Datenübertragung zu verkürzen. Von kurzen und zahlreichen vertikalen Verbindungen werden hohe Bandbreite und ein geringer Energieverbrauch bei Ein- und Ausgabe erwartet.

Das Problem ist die Wärme. Wird Speicher über der GPU platziert, kann die von der GPU erzeugte Wärme auf dem Weg zwischen Speicher und Kühlsystem hindurchtreten. Der Ausdruck „der Speicher schmilzt“ ist eher eine Metapher zur Hervorhebung des Wärmeproblems als eine technische Beschreibung. Die tatsächlichen Risiken bestehen in der Überschreitung der zulässigen Temperaturen von Verbindungsstellen und Speicher, erhöhtem Leckstrom, Leistungseinschränkungen und verkürzter Lebensdauer.

### Speicher unten, GPU oben

Das Berichten zufolge vom Team um KAIST-Professor Kim Jeong-ho vorgeschlagene THBM basiert auf der Idee, die GPU oberhalb des HBM-Stacks zu platzieren und damit die stark wärmeerzeugende Logik näher an das Kühlsystem zu bringen. Dies kann die Wärmeabfuhr erleichtern, doch folgende Herausforderungen bleiben bestehen.

- mechanische Stabilität des schweren Logik-Dies und des Speicherstapels
- Stromversorgung und Signalverdrahtung
- Bonding-Ausbeute von Dies aus unterschiedlichen Fertigungsprozessen
- Austausch defekter Dies und Testbarkeit
- Package-Design einschließlich Kühlplatte

Die Wettbewerbsfähigkeit vertikaler Stapel lässt sich nicht allein anhand eines Konzeptdiagramms beurteilen. Erforderlich sind Messergebnisse zu Wärmewiderstand, effektiver Bandbreite, Ausbeute und Gesamtbetriebskosten.

## Sind optische Interconnects ein Umweg, um die Abhängigkeit vom Speicher zu vermeiden?

Um Speicher und Storage außerhalb der GPU zu nutzen, müssen Daten größere Entfernungen zurücklegen. Je länger die Strecke und je höher die Übertragungsgeschwindigkeit elektrischer Signale ist, desto mehr Strom benötigen Signalkorrektur und erneute Übertragung. Optische Interconnects gelten als Kandidat für eine höhere Bandbreitendichte und einen geringeren Übertragungsenergieverbrauch bei Hochgeschwindigkeitsverbindungen zwischen Servern, Racks und Clustern.

Die verstärkten Aktivitäten von NVIDIA im Bereich optischer Netzwerke lassen sich nur schwer ausschließlich als Strategie zur Vermeidung der Abhängigkeit von einem bestimmten Speicherunternehmen erklären. Der unmittelbarere Hintergrund besteht darin, dass Netzwerke zum Engpass des gesamten AI-Systems werden, weil Beschleunigersysteme über einzelne Server hinaus auf Rack- und Rechenzentrumsebene skalieren.

Auch optische Verbindungen ersetzen HBM nicht. HBM dürfte für die kurze Latenz direkt neben dem Beschleuniger zuständig bleiben, während optische Verbindungen weiter entfernte Speicherpools und mehrere Beschleuniger miteinander verbinden.

## Wie maßgeschneidertes HBM die Speicherindustrie verändert

Herkömmlicher Standard-DRAM hatte vor allem den Charakter eines Produkts mit einheitlichen Spezifikationen, das an mehrere Kunden geliefert wurde. Da bei HBM GPU-Package, Interposer, Base-Die sowie Strom- und Wärmedesign gemeinsam abgestimmt werden müssen, nimmt der Anteil gemeinsamer Entwicklung durch Kunden und Speicherunternehmen zu.

Bei maßgeschneidertem HBM oder CHBM können die folgenden Funktionen in den Base-Die integriert werden.

- Optimierung von Speichersteuerung und Schnittstellen
- Fehlerkorrektur und Zuverlässigkeitsmanagement
- Datenkomprimierung und Steuerung der Datenübertragung
- Sicherheits- oder Virtualisierungsfunktionen
- begrenzte Datenvorverarbeitung und Berechnung

Diese Struktur kann Speicheranbieter von einfachen Komponentenherstellern zu Partnern bei der gemeinsamen Systementwicklung machen. Da Mengen und Spezifikationen bereits früh in der Entwicklung vereinbart werden, können auch langfristige Verträge und Kundenbindung an Bedeutung gewinnen.

Eine stärkere Anpassung beseitigt den Speicherzyklus jedoch nicht vollständig. Das Tempo der AI-Investitionen, die Kundenkonzentration, Packaging-Kapazitäten, Ausbeute und Preise für Standard-DRAM können weiterhin Ergebnisschwankungen verursachen. Zudem besteht das Risiko, dass sich für einen bestimmten Kunden optimierte Produkte bei einer Veränderung der Nachfrage nur schwer an andere Kunden verkaufen lassen.

## Ist die Interpretation zutreffend, dass die GPU-Entwicklung zum Stillstand gekommen ist?

Es ist schwer zu behaupten, dass die Entwicklung von GPUs faktisch zum Stillstand gekommen ist. Beschleuniger entwickeln sich bei Rechenformaten mit niedriger Präzision, der Verarbeitung von Sparsität, speziellen Transformer-Engines, Chiplets, Netzwerken und Kühlung weiter.

Verändert haben sich die Bewertungskriterien. Wichtiger als die maximale Rechenleistung eines einzelnen Chips sind folgende Kennzahlen geworden.

- die in realen Modellen erreichte effektive Speicherbandbreite
- Latenz bis zum ersten Token und Token-Generierungsgeschwindigkeit pro Nutzer
- Zahl der verarbeiteten Token pro Watt
- Speicherkapazität und Netzwerkbandbreite pro Rack
- Gesamtkosten für die Bereitstellung eines Modells

Auch die Verbreitung von Open-Source-Modellen hat nicht dazu geführt, dass sich die Fähigkeiten aller Modelle angeglichen haben. Da ähnliche Modelle nun von mehreren Anbietern genutzt werden können, ist die Bedeutung effizienter Hardware-Nutzung und leistungsfähiger Dienstbereitstellung jedoch tatsächlich gestiegen.

## Leicht übersehene Variablen: Zuverlässigkeit, Sicherheit und Programmiermodell

Diskussionen über Speicher der nächsten Generation konzentrieren sich auf Bandbreite und Kapazität, doch weitere Faktoren entscheiden über die tatsächliche Kommerzialisierung.

### Datengenauigkeit und Lebensdauer

Mit zunehmender Stapelung und Dichte des Speichers gewinnen Wärme, Fehlerraten und Lebensdauer an Bedeutung. Bei der AI-Inferenz kann sich eine stille Datenkorruption nicht in einem sofortigen Systemausfall, sondern in fehlerhaften Ausgaben äußern. Fehlerkorrektur, Prüfung der Datenintegrität und Fehlerisolierung sind ebenso wichtig wie die Leistung.

### Sicherheit gemeinsam genutzter Speicher

Wenn CXL-Speicherpools oder externe Caches von mehreren Beschleunigern und Kunden gemeinsam genutzt werden, sind Datenisolierung, Verschlüsselung, Zugriffsrechte und das Löschen verbliebener Daten erforderlich. Mit wachsender Speicherkapazität nehmen auch die zu schützenden Modellgewichte und Nutzerkontexte zu.

### Können Entwickler ihn nutzen?

Selbst wenn eine neue Speicherebene vorhanden ist, bleibt ihr Nutzen gering, wenn Compiler und Inferenz-Engines die Datenplatzierung nicht automatisch bestimmen können. Erforderlich ist eine Runtime, die verwaltet, welche Tensoren und KV-Caches in HBM, HBF, CXL-Speicher oder SSDs abgelegt werden. Letztlich wird der Hardwarewettbewerb zu einem Wettbewerb um Speicherscheduler und Systemsoftware.

## Sind AI-Rechenzentren Speicherfabriken?

Große AI-Rechenzentren als „Speicherfabriken“ zu bezeichnen, ist als Metapher für die strategische Bedeutung von Speicher nützlich. Schließlich werden Modellgewichte, KV-Caches, Trainingsdaten, Checkpoints und Suchindizes auf mehreren Ebenen gespeichert.

Für die Verallgemeinerung, dass stets ein bestimmter Anteil der Rechenzentrumskosten auf Speicher und Strom entfällt, fehlt jedoch eine ausreichende Grundlage. Die Kostenstruktur hängt vom Verhältnis zwischen Training und Inferenz, den Strompreisen, der Abschreibung der Server, Netzwerken, Kühlung, Auslastung und Modelleffizienz ab.

Eine präzisere Schlussfolgerung lautet:

> Künftige AI-Rechenzentren werden über Orte hinausgehen, an denen viele GPUs installiert sind, und zu Systemen werden, die Daten auf der jeweils am besten geeigneten Speicherebene platzieren und mit minimalem Energieaufwand übertragen.

## Bedeutung für die koreanische Halbleiterindustrie

Korea verfügt über umfangreiche Fertigungskapazitäten für HBM und NAND-Flash und nimmt daher beim Übergang zu speicherzentrierten Systemen eine wichtige Position ein. Allein das Produktionsvolumen von Speicher garantiert jedoch keinen langfristigen Vorsprung.

Erforderlich sind folgende Strategien.

1. Kompetenzen für die gemeinsame Entwicklung von HBM, HBF und fortschrittlichem Packaging sichern.
2. Den Designanteil bei Base-Dies, Schnittstellen-IP und Speichercontrollern erhöhen.
3. Unternehmen für Wärmemanagement, Leistungshalbleiter, optische Interconnects und Rechenzentrumssysteme fördern.
4. Ein Softwareökosystem schaffen, mit dem Compiler und Inferenz-Engines koreanischen Speicher effizient nutzen können.
5. Reale Anwendungsfälle schaffen, die Hardware, AI-Modelle und Dienste in Smartphones, Automobilen, Robotern und Haushaltsgeräten miteinander verbinden.
6. Risiken durch die Abhängigkeit von einzelnen Kunden oder einer einzigen Packaging-Lieferkette steuern.

Eine „Position, in der sich AI nur schwer ohne Korea entwickeln lässt“, entsteht nicht allein durch Produktionsmengen. Erst wenn Standards, Designressourcen, Fertigung, Packaging, Software und Enddienste miteinander verbunden sind, entsteht eine industrielle Stellung, die nur schwer zu ersetzen ist.

## Ausblick: Hierarchisierung und gemeinsame Entwicklung statt Ersatz

Statt von einem vollständigen Wechsel AI-basierter Halbleiter von GPU-zentrierten zu speicherzentrierten Systemen auszugehen, ist es präziser, den Prozess als zunehmende Auflösung der Grenze zwischen Recheneinheit und Speicher zu betrachten.

- HBM übernimmt die Daten, die am schnellsten verfügbar sein müssen.
- HBF und CXL-Speicher stellen größere Kapazitäten bereit.
- SSDs übernehmen die langfristige Speicherung und kalte Daten.
- Optische Interconnects senken die Kosten für die Verbindung weit entfernter Ressourcen.
- Maßgeschneiderte Base-Dies und PIM verlagern bestimmte Berechnungen näher an die Daten.
- Inferenzsoftware entscheidet, auf welcher Ebene die jeweiligen Daten abgelegt werden.

Der Gewinner der AI-Infrastruktur der nächsten Generation wird voraussichtlich nicht das Unternehmen sein, das eine einzelne, besonders schnelle GPU entwickelt, sondern ein Ökosystem, das Rechenleistung, Speicher, Verbindungen, Stromversorgung, Kühlung und Software als ein einziges System optimiert.

## FAQ

### Bedeutet speicherzentriertes Computing, dass GPUs durch Speicher ersetzt werden?
Nein. GPUs und andere Beschleuniger übernehmen weiterhin die Berechnungen. Speicherzentriertes Computing ist ein Ansatz, bei dem Beschleuniger, HBM, externer Speicher, Massenspeicher und Netzwerke gemeinsam konzipiert werden, um den Zeit- und Energieaufwand für die Datenübertragung zu reduzieren.

### Warum wird der KV-Cache bei langen Kontexten größer?
Transformer speichern die Schlüssel- und Wertinformationen vorheriger Token für jede Schicht, damit dieselben Berechnungen nicht wiederholt werden müssen. Da die gespeicherte Datenmenge im Allgemeinen proportional zur Anzahl der Token, der Schichten und der KV-Heads sowie zur Größe des Datenformats ist, erhöhen lange Kontexte und viele gleichzeitige Anfragen den Speicherbedarf.

### Ist HBF grundsätzlich besser als HBM, wenn es eine größere Kapazität hat?
Nein. NAND-basiertes HBF bietet zwar die Vorteile einer hohen Integrationsdichte und Nichtflüchtigkeit, weist jedoch eine höhere Latenz als DRAM-basiertes HBM auf, und die Verwaltung der Schreibbeständigkeit und von Fehlern ist komplexer. Realistischer ist eine hierarchische Konfiguration, bei der häufig verwendete Daten im HBM und seltener verwendete Daten im HBF abgelegt werden.

### Was ist der Unterschied zwischen HBF und einer herkömmlichen NVMe-SSD?
HBF ist ein Konzept, bei dem NAND-Flash über eine breitere und stärker parallelisierte Schnittstelle näher am Beschleuniger angebunden wird, um eine höhere Bandbreite als herkömmliche SSDs bereitzustellen. Die konkrete Leistung und Art der Anbindung können je nach Produkt und Ergebnis der Standardisierung variieren.

### Welche Vorteile bietet es, GPU und HBM vertikal zu stapeln?
Durch kürzere Verbindungswege und die Möglichkeit, zahlreiche vertikale Leitungen zu nutzen, kann dies Vorteile bei der Bandbreite und dem Energieverbrauch der Ein- und Ausgabe bieten. Andererseits werden Probleme im Zusammenhang mit Wärmedichte, Stromversorgung, Bonding-Ausbeute, Prüfung und Kühlung schwieriger.

### Können optische Interconnects HBM ersetzen?
Optische Interconnects eignen sich dafür, mehrere Beschleuniger oder Speicherressourcen über größere Entfernungen zu verbinden, ersetzen jedoch nicht unmittelbar die niedrige Latenz von HBM direkt neben dem Beschleuniger. Die beiden Technologien werden wahrscheinlich unterschiedliche Entfernungen und Speicherebenen abdecken.

### Kann maßgeschneidertes HBM den Preiszyklus bei Speicherprodukten beseitigen?
Maßgeschneiderte Designs und langfristige Lieferverträge können im Vergleich zu Standardspeicherprodukten die Preisstabilität und Kundenbeziehungen stärken. Die Auswirkungen von Schwankungen bei AI-Investitionen, Produktionskapazitäten, Ausbeute, Kundenkonzentration und den Preisen für Standard-DRAM verschwinden dadurch jedoch nicht.

### Verschwinden AI-Halluzinationen, wenn lange Kontexte unterstützt werden?
Nein. Lange Kontexte können mehr Belege bereitstellen, doch wenn die Qualität der abgerufenen Materialien, die Fähigkeiten des Modells, die Gestaltung der Anweisungen und die Überprüfung der Quellen unzureichend sind, können falsche Antworten entstehen. Eine Erweiterung des Speichers ist lediglich eines der Mittel zur Verringerung von Halluzinationen.

### Sind GHBM, HBF und THBM bereits verbindlich festgelegte Industriestandards?
Nicht alle Bezeichnungen dürfen als gleichermaßen verbindlich festgelegte Standards betrachtet werden. Einige können lediglich Bezeichnungen aus Unternehmensankündigungen oder Forschungsvorschlägen sein. Daher müssen die Spezifikationen von Standardisierungsorganisationen wie JEDEC, die endgültigen Spezifikationen der Hersteller und der tatsächliche Status der Massenproduktion jeweils gesondert geprüft werden.

## Sources

- [FMS: Die Zukunft von Arbeitsspeicher und Datenspeicherung](https://futurememorystorage.com/)
- [Effiziente Speicherverwaltung für die Bereitstellung großer Sprachmodelle mit PagedAttention](https://arxiv.org/abs/2309.06180)
- [FlashAttention: Schnelle und speichereffiziente exakte Attention mit IO-Bewusstsein](https://arxiv.org/abs/2205.14135)
- [Beherrschung von LLM-Techniken: Inferenzoptimierung](https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/)
- [Compute Express Link-Konsortium](https://www.cxlconsortium.org/)
- [UCIe-Konsortium](https://www.uciexpress.org/)

## Images

![Zentraler KI-Chip, über Datenpfade mit RAM, Stapelspeicher, Servern und Speichern verbunden](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAxOCwicHVyIjoiYmxvYl9pZCJ9fQ==--5e9ff3355e5af64800fe3a3753eb07a1847f7fba/ai-db43622c.webp)
![Mehrschichtiger KI-Chip mit gestapeltem Speicher, Prozessoren, Serverracks und leuchtenden Datenleitungen](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAyNCwicHVyIjoiYmxvYl9pZCJ9fQ==--0b4dbc6fd04a7a2893bbf9865c8b7e32463f6e20/ai-29d9b4a3.webp)