{"content_id":"htuvoxtoaw","slug":"memory-centric-ai-chips-hbm-hbf-packaging","locale":"de","schema_type":"TechArticle","category":"trends","category_name":"Trends","title":"Vom GPU- zum Speicherfokus: Paradigmenwechsel bei KI-Halbleitern","summary":"Der Engpass von KI-Systemen verlagert sich von der reinen Rechenleistung auf die Fähigkeit, Daten zu speichern und zu übertragen. Durch die Kombination von HBM, NAND-basiertem HBF, kundenspezifischen Basis-Dies, 3D-Packaging und optischen Interconnects gewinnt speicherzentriertes Computing an Bedeutung, bei dem Beschleuniger und Speicher gemeinsam entwickelt werden.","sponsorship_disclosure":null,"author":{"name":"injoys","url":"https://injoys.com/ko/about"},"key_points":["Speicherzentriertes Computing zielt nicht darauf ab, GPUs abzuschaffen, sondern Recheneinheiten und Speicherhierarchien gemeinsam zu entwickeln, um die Kosten der Datenübertragung zu senken.","Lange Kontexte und mehr gleichzeitige Anfragen erhöhen die benötigte Kapazität des KV-Caches. Dadurch werden neben der Bandbreite von HBM auch die gesamte Speicherkapazität und Technologien zur Speicherhierarchisierung wichtiger.","HBF nutzt die hohe Integrationsdichte von NAND-Flash, dürfte HBM jedoch aufgrund von Latenz, begrenzter Schreibhaltbarkeit und Herausforderungen beim Fehlermanagement eher ergänzen als vollständig ersetzen.","Architekturen, bei denen Speicher vertikal über oder unter einer GPU gestapelt wird, verkürzen die Leitungslängen, schaffen jedoch neue Einschränkungen hinsichtlich Wärmedichte, Ausbeute, Stromversorgung und Kühlung.","Maßgeschneidertes HBM erweitert die Beteiligung von Speicherunternehmen am Design, beseitigt jedoch weder die Preisschwankungen bei Speicherprodukten noch die Lieferzyklen selbst."],"content_markdown":"Die Wettbewerbskriterien für AI-Halbleiter erweitern sich von der bloßen Anzahl an Rechenoperationen auf die Frage, **wie viele Daten mit wenig Strom gespeichert und übertragen werden können**. Bei der groß angelegten AI-Inferenz entstehen Situationen, in denen GPUs nicht deshalb warten, weil sie keine Berechnungen durchführen können, sondern weil die benötigten Modellgewichte und KV-Caches nicht rechtzeitig bereitgestellt werden.\n\nDieser Wandel wird häufig als „Übergang von GPU-zentrierten zu speicherzentrierten Systemen“ bezeichnet. Das bedeutet jedoch nicht, dass GPUs verschwinden oder ihre Entwicklung zum Stillstand gekommen ist. Genauer gesagt geht es darum, GPU, HBM, externen Speicher, Storage, Netzwerke und Software gemeinsam als ein einziges Datenübertragungssystem zu entwickeln.\n\n## Was ist speicherzentriertes Computing?\n\n**Speicherzentriertes Computing ist ein Ansatz, bei dem Standort, Bandbreite, Kapazität und Rechenfunktionen des Speichers den Ausgangspunkt des Systemdesigns bilden, um die Kosten des wiederholten Transports von Daten zu den Recheneinheiten zu senken.**\n\nDer arithmetische Durchsatz von AI-Chips ist schnell gestiegen, doch das Abrufen von Daten außerhalb des Chips ist vergleichsweise langsam und verbraucht viel Strom. Daher gewinnen die folgenden Technologien gemeinsam an Bedeutung.\n\n- HBM, das nahe an der GPU oder dem AI-Beschleuniger platziert wird\n- 3D-Packaging, das Speicher und Logik vertikal verbindet\n- maßgeschneidertes HBM, bei dem Steuerungs- oder bestimmte Rechenfunktionen in den Base-Die integriert werden\n- Speichererweiterung und Pooling mithilfe von CXL\n- HBF-Konzepte, bei denen NAND-Flash über breite Schnittstellen angebunden wird\n- optische Interconnects zur Senkung des Energieverbrauchs bei Übertragungen zwischen Chips und Servern\n- PIM und Near-Memory Computing, die Daten nahe am Speicher verarbeiten\n\nDer Ausdruck „speicherzentriert“ bezeichnet also nicht ein einzelnes Speicherprodukt. Er steht für ein Systemprinzip, das mehrere Ebenen vom schnellen Speicher bis zum Massenspeicher miteinander verbindet, um Datenbewegungen zu minimieren.\n\n## Warum AI-Inferenz den Speicherengpass verschärft\n\n### Modellgewichte und KV-Caches stellen unterschiedliche Belastungen dar\n\nDer für AI-Inferenz erforderliche Speicher lässt sich im Wesentlichen in Modellgewichte, während der Ausführung erzeugte Aktivierungen und KV-Caches unterteilen. Modellgewichte belegen auch ohne Anfragen eine feste Kapazität, während KV-Caches mit der Länge der Eingabe, der Länge der Ausgabe und der Zahl gleichzeitiger Anfragen wachsen.\n\nTransformer-Modelle speichern die Attention-Key- und Value-Informationen jeder Schicht im KV-Cache, damit frühere Token nicht jedes Mal von Grund auf neu berechnet werden müssen. Vereinfacht ausgedrückt ist die Größe des KV-Caches einer einzelnen Anfrage proportional zu den folgenden Faktoren.\n\nDie genaue Größe des KV-Caches muss anhand der Modellarchitektur und der Implementierungsspezifikationen ermittelt werden.\n\nIm KV-Cache werden Keys und Values jeweils separat gespeichert. Daher wächst der KV-Cache schnell, wenn der Kontext länger wird oder viele Nutzer gleichzeitig verarbeitet werden. Nicht alle Modelle verwenden Millionen von Token, und die Cache-Größe steigt auch nicht einheitlich um das Hundertfache. Klar ist jedoch, dass Langtext-Inferenz und agentenbasierte Aufgaben den Speicherdruck erhöhen.\n\n### Halluzinationen und Speicherkapazität sind nicht dasselbe Problem\n\nLängere Kontexte und Retrieval-Augmented Generation können dem Modell mehr Belege bereitstellen. Halluzinationen verschwinden jedoch nicht allein durch eine Vergrößerung des Speichers. Zusätzlich erforderlich sind die Qualität der Suchergebnisse, der Aufbau der Prompts, die Schlussfolgerungsfähigkeit des Modells sowie Systeme zur Quellenprüfung und Evaluierung.\n\n### Software kann den Bedarf an physischem Speicher reduzieren\n\nDer KV-Cache-Engpass wird nicht allein durch den Ausbau der Hardware gelöst.\n\n- MQA und GQA verringern die Zahl der zu speichernden KV-Heads.\n- Quantisierung reduziert die Anzahl der Bytes für Gewichte und Caches.\n- PagedAttention verwaltet Caches seitenweise und verringert so Fragmentierung und Verschwendung.\n- Continuous Batching bündelt mehrere Anfragen effizient.\n- Prefix Caching verwendet wiederkehrende System-Prompts oder gemeinsame Kontexte erneut.\n- Cache-Bereinigung und schichtweises Offloading verschieben weniger wichtige Informationen in langsamere Speicher.\n\nDie tatsächlichen Speicherinvestitionen eines Rechenzentrums hängen daher nicht nur von der Modellgröße, sondern auch von der Effizienz der Inferenz-Engine ab.\n\n## Die Speicherhierarchie von AI-Rechenzentren\n\nEin einzelner Speicher kann Geschwindigkeit, Kapazität, Preis und Energieeffizienz nur schwer gleichzeitig erfüllen. AI-Rechenzentren werden sich voraussichtlich zu einer Hierarchie wie der folgenden entwickeln.\n\n| Ebene | Repräsentative Technologie | Stärke | Wesentliche Einschränkung | Erwartete Rolle |\n|---|---|---|---|---|\n| Innerhalb des Chips | SRAM, Register | kürzeste Latenz | sehr geringe Kapazität und hohe Flächenkosten | sofort benötigte Daten und Rechenzwischenergebnisse |\n| Nahe am Beschleuniger | HBM | hohe Bandbreite und vergleichsweise kurze Latenz | Einschränkungen bei Kapazität, Packaging-Kosten und Wärme | aktive Gewichte, häufig verwendete KV-Caches |\n| Serverspeicher | DDR, über CXL angebundener Speicher | größere erweiterbare Kapazität als HBM | größere Entfernung zum Beschleuniger und geringere Bandbreite | Cache-Erweiterung, Modell-Tiering, Speicherpool |\n| Hochbandbreiten-Flash | HBF-Konzept | hohe NAND-basierte Dichte und Nichtflüchtigkeit | Leselatenz, Schreibhaltbarkeit, Komplexität der Steuerung | Ebene für weniger häufig verwendete Gewichte und KV-Caches |\n| Storage | NVMe SSD | große Kapazität und niedrige Kosten pro Bit | höhere Latenz als Speicher | Checkpoints, Datensätze, kalte Daten |\n\nEntscheidend ist nicht, ob HBM oder HBF gewinnt, sondern dass mehrere Ebenen entsprechend der Nutzungshäufigkeit der Daten eingesetzt werden.\n\n## Der auf der FMS 2026 sichtbare Wettbewerb um Speicher der nächsten Generation\n\nDie im August 2026 im US-amerikanischen Santa Clara veranstaltete FMS behandelte AI-Speicher- und Storage-Architekturen für die Zeit nach HBM als ein zentrales Thema. Im Mittelpunkt der Diskussionen standen höhere Stapel, NAND-basierte Ebenen mit großer Kapazität, maßgeschneiderte Speicher und Verbindungstechnologien für Rechenzentren.\n\nGHBM von Samsung Electronics und HBF, das SK hynix mit Google·SanDisk erörterte, wurden als Beispiele für diese Entwicklung vorgestellt. Allerdings lässt sich nur schwer behaupten, dass Bezeichnungen wie GHBM, HBF und THBM allesamt von JEDEC als allgemeine Generationsnamen mit identischen Spezifikationen festgelegt wurden. Technologien im Ankündigungsstadium, gemeinsame Entwicklungskonzepte und standardisierte kommerzielle Produkte müssen voneinander unterschieden werden.\n\nAuch bedeutet eine höhere Generationsbezeichnung nicht zwangsläufig, dass reale AI-Dienste schneller werden. Effektive Bandbreite, Speicherkapazität, Latenz, Stromverbrauch, Kühlung, Package-Ausbeute und Softwareunterstützung müssen gemeinsam verglichen werden.\n\n## Die Stärken und Kapazitätsgrenzen von HBM\n\nHBM stapelt mehrere DRAM-Dies vertikal und verbindet sie über Through-Silicon Vias und breite Schnittstellen. Sein entscheidender Vorteil besteht darin, dass es nahe am Beschleuniger große Datenmengen parallel bereitstellen kann, anders als herkömmlicher, auf Platinen montierter Speicher.\n\nDie Kapazität von HBM lässt sich jedoch nicht unbegrenzt erhöhen.\n\n1. Mit zunehmender Zahl der Stapelschichten steigen die Anforderungen an Fertigungsausbeute und Prüfung.\n2. Die Package-Fläche, auf der GPU und HBM gemeinsam angeordnet werden, wächst.\n3. Die von Beschleuniger und Speicher erzeugte Wärme muss auf engem Raum abgeführt werden.\n4. Auch die Stromversorgung und die Verdrahtung des Interposers werden komplexer.\n5. Werden in teurem HBM auch selten genutzte Daten gespeichert, sinkt die Wirtschaftlichkeit.\n\nDaher gewinnt eine hierarchische Struktur an Bedeutung, bei der HBM die am häufigsten verwendeten Daten übernimmt und der Rest an CXL-Speicher, Flash oder SSDs weitergegeben wird.\n\n## Kann HBF HBM ersetzen?\n\nHBF steht für High Bandwidth Flash und bezeichnet ein Konzept, bei dem NAND-Flash parallelisiert und gestapelt wird, um eine hochbandbreitige Speicherebene zu schaffen, die näher am Beschleuniger liegt als herkömmliche SSDs. Da NAND eine höhere Dichte und Nichtflüchtigkeit als DRAM bietet, kann im gleichen physischen Raum potenziell eine größere Datenmenge gespeichert werden.\n\nNAND besitzt jedoch andere Eigenschaften als DRAM.\n\n- Die Leselatenz ist höher.\n- Vor dem Überschreiben ist ein Löschvorgang erforderlich.\n- Die Lebensdauer muss anhand der Zahl der Schreibvorgänge verwaltet werden.\n- Defekte Blöcke, Fehlerkorrektur und Wear Leveling müssen berücksichtigt werden.\n- Große sequenzielle Zugriffe sind vorteilhafter als unregelmäßige Zugriffe in kleinen Einheiten.\n\nSelbst wenn HBF kommerzialisiert wird, dürfte es HBM daher nicht direkt ersetzen, sondern eher als **Ebene mit großer Kapazität zwischen HBM und SSDs** dienen. Leselastige Modellgewichte, selten wiederverwendete Caches, Checkpoints und Suchdaten kommen dafür infrage. Die tatsächliche Eignung hängt von Schnittstellenstandards, Latenz, Haltbarkeit sowie der Unterstützung durch Controller und Inferenzsoftware ab.\n\n## Die von GHBM und THBM aufgeworfenen Probleme des 3D-Packagings\n\nDie seitliche Platzierung von Beschleuniger und HBM nebeneinander im Package stößt bei Verbindungsbreite und Package-Fläche an Grenzen. Um diese zu überwinden, entstehen Konzepte, bei denen Logik und Speicher vertikal gestapelt werden, um die Leitungslängen zu verkürzen.\n\n### Eine Struktur mit Speicher über der GPU\n\nDas als GHBM oder Z-Achsen-HBM vorgestellte Konzept verbindet GPU und HBM vertikal, um die Entfernung der Datenübertragung zu verkürzen. Von kurzen und zahlreichen vertikalen Verbindungen werden hohe Bandbreite und ein geringer Energieverbrauch bei Ein- und Ausgabe erwartet.\n\nDas Problem ist die Wärme. Wird Speicher über der GPU platziert, kann die von der GPU erzeugte Wärme auf dem Weg zwischen Speicher und Kühlsystem hindurchtreten. Der Ausdruck „der Speicher schmilzt“ ist eher eine Metapher zur Hervorhebung des Wärmeproblems als eine technische Beschreibung. Die tatsächlichen Risiken bestehen in der Überschreitung der zulässigen Temperaturen von Verbindungsstellen und Speicher, erhöhtem Leckstrom, Leistungseinschränkungen und verkürzter Lebensdauer.\n\n### Speicher unten, GPU oben\n\nDas Berichten zufolge vom Team um KAIST-Professor Kim Jeong-ho vorgeschlagene THBM basiert auf der Idee, die GPU oberhalb des HBM-Stacks zu platzieren und damit die stark wärmeerzeugende Logik näher an das Kühlsystem zu bringen. Dies kann die Wärmeabfuhr erleichtern, doch folgende Herausforderungen bleiben bestehen.\n\n- mechanische Stabilität des schweren Logik-Dies und des Speicherstapels\n- Stromversorgung und Signalverdrahtung\n- Bonding-Ausbeute von Dies aus unterschiedlichen Fertigungsprozessen\n- Austausch defekter Dies und Testbarkeit\n- Package-Design einschließlich Kühlplatte\n\nDie Wettbewerbsfähigkeit vertikaler Stapel lässt sich nicht allein anhand eines Konzeptdiagramms beurteilen. Erforderlich sind Messergebnisse zu Wärmewiderstand, effektiver Bandbreite, Ausbeute und Gesamtbetriebskosten.\n\n## Sind optische Interconnects ein Umweg, um die Abhängigkeit vom Speicher zu vermeiden?\n\nUm Speicher und Storage außerhalb der GPU zu nutzen, müssen Daten größere Entfernungen zurücklegen. Je länger die Strecke und je höher die Übertragungsgeschwindigkeit elektrischer Signale ist, desto mehr Strom benötigen Signalkorrektur und erneute Übertragung. Optische Interconnects gelten als Kandidat für eine höhere Bandbreitendichte und einen geringeren Übertragungsenergieverbrauch bei Hochgeschwindigkeitsverbindungen zwischen Servern, Racks und Clustern.\n\nDie verstärkten Aktivitäten von NVIDIA im Bereich optischer Netzwerke lassen sich nur schwer ausschließlich als Strategie zur Vermeidung der Abhängigkeit von einem bestimmten Speicherunternehmen erklären. Der unmittelbarere Hintergrund besteht darin, dass Netzwerke zum Engpass des gesamten AI-Systems werden, weil Beschleunigersysteme über einzelne Server hinaus auf Rack- und Rechenzentrumsebene skalieren.\n\nAuch optische Verbindungen ersetzen HBM nicht. HBM dürfte für die kurze Latenz direkt neben dem Beschleuniger zuständig bleiben, während optische Verbindungen weiter entfernte Speicherpools und mehrere Beschleuniger miteinander verbinden.\n\n## Wie maßgeschneidertes HBM die Speicherindustrie verändert\n\nHerkömmlicher Standard-DRAM hatte vor allem den Charakter eines Produkts mit einheitlichen Spezifikationen, das an mehrere Kunden geliefert wurde. Da bei HBM GPU-Package, Interposer, Base-Die sowie Strom- und Wärmedesign gemeinsam abgestimmt werden müssen, nimmt der Anteil gemeinsamer Entwicklung durch Kunden und Speicherunternehmen zu.\n\nBei maßgeschneidertem HBM oder CHBM können die folgenden Funktionen in den Base-Die integriert werden.\n\n- Optimierung von Speichersteuerung und Schnittstellen\n- Fehlerkorrektur und Zuverlässigkeitsmanagement\n- Datenkomprimierung und Steuerung der Datenübertragung\n- Sicherheits- oder Virtualisierungsfunktionen\n- begrenzte Datenvorverarbeitung und Berechnung\n\nDiese Struktur kann Speicheranbieter von einfachen Komponentenherstellern zu Partnern bei der gemeinsamen Systementwicklung machen. Da Mengen und Spezifikationen bereits früh in der Entwicklung vereinbart werden, können auch langfristige Verträge und Kundenbindung an Bedeutung gewinnen.\n\nEine stärkere Anpassung beseitigt den Speicherzyklus jedoch nicht vollständig. Das Tempo der AI-Investitionen, die Kundenkonzentration, Packaging-Kapazitäten, Ausbeute und Preise für Standard-DRAM können weiterhin Ergebnisschwankungen verursachen. Zudem besteht das Risiko, dass sich für einen bestimmten Kunden optimierte Produkte bei einer Veränderung der Nachfrage nur schwer an andere Kunden verkaufen lassen.\n\n## Ist die Interpretation zutreffend, dass die GPU-Entwicklung zum Stillstand gekommen ist?\n\nEs ist schwer zu behaupten, dass die Entwicklung von GPUs faktisch zum Stillstand gekommen ist. Beschleuniger entwickeln sich bei Rechenformaten mit niedriger Präzision, der Verarbeitung von Sparsität, speziellen Transformer-Engines, Chiplets, Netzwerken und Kühlung weiter.\n\nVerändert haben sich die Bewertungskriterien. Wichtiger als die maximale Rechenleistung eines einzelnen Chips sind folgende Kennzahlen geworden.\n\n- die in realen Modellen erreichte effektive Speicherbandbreite\n- Latenz bis zum ersten Token und Token-Generierungsgeschwindigkeit pro Nutzer\n- Zahl der verarbeiteten Token pro Watt\n- Speicherkapazität und Netzwerkbandbreite pro Rack\n- Gesamtkosten für die Bereitstellung eines Modells\n\nAuch die Verbreitung von Open-Source-Modellen hat nicht dazu geführt, dass sich die Fähigkeiten aller Modelle angeglichen haben. Da ähnliche Modelle nun von mehreren Anbietern genutzt werden können, ist die Bedeutung effizienter Hardware-Nutzung und leistungsfähiger Dienstbereitstellung jedoch tatsächlich gestiegen.\n\n## Leicht übersehene Variablen: Zuverlässigkeit, Sicherheit und Programmiermodell\n\nDiskussionen über Speicher der nächsten Generation konzentrieren sich auf Bandbreite und Kapazität, doch weitere Faktoren entscheiden über die tatsächliche Kommerzialisierung.\n\n### Datengenauigkeit und Lebensdauer\n\nMit zunehmender Stapelung und Dichte des Speichers gewinnen Wärme, Fehlerraten und Lebensdauer an Bedeutung. Bei der AI-Inferenz kann sich eine stille Datenkorruption nicht in einem sofortigen Systemausfall, sondern in fehlerhaften Ausgaben äußern. Fehlerkorrektur, Prüfung der Datenintegrität und Fehlerisolierung sind ebenso wichtig wie die Leistung.\n\n### Sicherheit gemeinsam genutzter Speicher\n\nWenn CXL-Speicherpools oder externe Caches von mehreren Beschleunigern und Kunden gemeinsam genutzt werden, sind Datenisolierung, Verschlüsselung, Zugriffsrechte und das Löschen verbliebener Daten erforderlich. Mit wachsender Speicherkapazität nehmen auch die zu schützenden Modellgewichte und Nutzerkontexte zu.\n\n### Können Entwickler ihn nutzen?\n\nSelbst wenn eine neue Speicherebene vorhanden ist, bleibt ihr Nutzen gering, wenn Compiler und Inferenz-Engines die Datenplatzierung nicht automatisch bestimmen können. Erforderlich ist eine Runtime, die verwaltet, welche Tensoren und KV-Caches in HBM, HBF, CXL-Speicher oder SSDs abgelegt werden. Letztlich wird der Hardwarewettbewerb zu einem Wettbewerb um Speicherscheduler und Systemsoftware.\n\n## Sind AI-Rechenzentren Speicherfabriken?\n\nGroße AI-Rechenzentren als „Speicherfabriken“ zu bezeichnen, ist als Metapher für die strategische Bedeutung von Speicher nützlich. Schließlich werden Modellgewichte, KV-Caches, Trainingsdaten, Checkpoints und Suchindizes auf mehreren Ebenen gespeichert.\n\nFür die Verallgemeinerung, dass stets ein bestimmter Anteil der Rechenzentrumskosten auf Speicher und Strom entfällt, fehlt jedoch eine ausreichende Grundlage. Die Kostenstruktur hängt vom Verhältnis zwischen Training und Inferenz, den Strompreisen, der Abschreibung der Server, Netzwerken, Kühlung, Auslastung und Modelleffizienz ab.\n\nEine präzisere Schlussfolgerung lautet:\n\n\u003e Künftige AI-Rechenzentren werden über Orte hinausgehen, an denen viele GPUs installiert sind, und zu Systemen werden, die Daten auf der jeweils am besten geeigneten Speicherebene platzieren und mit minimalem Energieaufwand übertragen.\n\n## Bedeutung für die koreanische Halbleiterindustrie\n\nKorea verfügt über umfangreiche Fertigungskapazitäten für HBM und NAND-Flash und nimmt daher beim Übergang zu speicherzentrierten Systemen eine wichtige Position ein. Allein das Produktionsvolumen von Speicher garantiert jedoch keinen langfristigen Vorsprung.\n\nErforderlich sind folgende Strategien.\n\n1. Kompetenzen für die gemeinsame Entwicklung von HBM, HBF und fortschrittlichem Packaging sichern.\n2. Den Designanteil bei Base-Dies, Schnittstellen-IP und Speichercontrollern erhöhen.\n3. Unternehmen für Wärmemanagement, Leistungshalbleiter, optische Interconnects und Rechenzentrumssysteme fördern.\n4. Ein Softwareökosystem schaffen, mit dem Compiler und Inferenz-Engines koreanischen Speicher effizient nutzen können.\n5. Reale Anwendungsfälle schaffen, die Hardware, AI-Modelle und Dienste in Smartphones, Automobilen, Robotern und Haushaltsgeräten miteinander verbinden.\n6. Risiken durch die Abhängigkeit von einzelnen Kunden oder einer einzigen Packaging-Lieferkette steuern.\n\nEine „Position, in der sich AI nur schwer ohne Korea entwickeln lässt“, entsteht nicht allein durch Produktionsmengen. Erst wenn Standards, Designressourcen, Fertigung, Packaging, Software und Enddienste miteinander verbunden sind, entsteht eine industrielle Stellung, die nur schwer zu ersetzen ist.\n\n## Ausblick: Hierarchisierung und gemeinsame Entwicklung statt Ersatz\n\nStatt von einem vollständigen Wechsel AI-basierter Halbleiter von GPU-zentrierten zu speicherzentrierten Systemen auszugehen, ist es präziser, den Prozess als zunehmende Auflösung der Grenze zwischen Recheneinheit und Speicher zu betrachten.\n\n- HBM übernimmt die Daten, die am schnellsten verfügbar sein müssen.\n- HBF und CXL-Speicher stellen größere Kapazitäten bereit.\n- SSDs übernehmen die langfristige Speicherung und kalte Daten.\n- Optische Interconnects senken die Kosten für die Verbindung weit entfernter Ressourcen.\n- Maßgeschneiderte Base-Dies und PIM verlagern bestimmte Berechnungen näher an die Daten.\n- Inferenzsoftware entscheidet, auf welcher Ebene die jeweiligen Daten abgelegt werden.\n\nDer Gewinner der AI-Infrastruktur der nächsten Generation wird voraussichtlich nicht das Unternehmen sein, das eine einzelne, besonders schnelle GPU entwickelt, sondern ein Ökosystem, das Rechenleistung, Speicher, Verbindungen, Stromversorgung, Kühlung und Software als ein einziges System optimiert.","content_html":"\u003cp\u003eDie Wettbewerbskriterien für AI-Halbleiter erweitern sich von der bloßen Anzahl an Rechenoperationen auf die Frage, \u003cstrong\u003ewie viele Daten mit wenig Strom gespeichert und übertragen werden können\u003c/strong\u003e. Bei der groß angelegten AI-Inferenz entstehen Situationen, in denen GPUs nicht deshalb warten, weil sie keine Berechnungen durchführen können, sondern weil die benötigten Modellgewichte und KV-Caches nicht rechtzeitig bereitgestellt werden.\u003c/p\u003e\n\u003cp\u003eDieser Wandel wird häufig als „Übergang von GPU-zentrierten zu speicherzentrierten Systemen“ bezeichnet. Das bedeutet jedoch nicht, dass GPUs verschwinden oder ihre Entwicklung zum Stillstand gekommen ist. Genauer gesagt geht es darum, GPU, HBM, externen Speicher, Storage, Netzwerke und Software gemeinsam als ein einziges Datenübertragungssystem zu entwickeln.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#was-ist-speicherzentriertes-computing\" class=\"anchor\" id=\"was-ist-speicherzentriertes-computing\"\u003e\u003c/a\u003eWas ist speicherzentriertes Computing?\u003c/h2\u003e\n\u003cp\u003e\u003cstrong\u003eSpeicherzentriertes Computing ist ein Ansatz, bei dem Standort, Bandbreite, Kapazität und Rechenfunktionen des Speichers den Ausgangspunkt des Systemdesigns bilden, um die Kosten des wiederholten Transports von Daten zu den Recheneinheiten zu senken.\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003eDer arithmetische Durchsatz von AI-Chips ist schnell gestiegen, doch das Abrufen von Daten außerhalb des Chips ist vergleichsweise langsam und verbraucht viel Strom. Daher gewinnen die folgenden Technologien gemeinsam an Bedeutung.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eHBM, das nahe an der GPU oder dem AI-Beschleuniger platziert wird\u003c/li\u003e\n\u003cli\u003e3D-Packaging, das Speicher und Logik vertikal verbindet\u003c/li\u003e\n\u003cli\u003emaßgeschneidertes HBM, bei dem Steuerungs- oder bestimmte Rechenfunktionen in den Base-Die integriert werden\u003c/li\u003e\n\u003cli\u003eSpeichererweiterung und Pooling mithilfe von CXL\u003c/li\u003e\n\u003cli\u003eHBF-Konzepte, bei denen NAND-Flash über breite Schnittstellen angebunden wird\u003c/li\u003e\n\u003cli\u003eoptische Interconnects zur Senkung des Energieverbrauchs bei Übertragungen zwischen Chips und Servern\u003c/li\u003e\n\u003cli\u003ePIM und Near-Memory Computing, die Daten nahe am Speicher verarbeiten\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eDer Ausdruck „speicherzentriert“ bezeichnet also nicht ein einzelnes Speicherprodukt. Er steht für ein Systemprinzip, das mehrere Ebenen vom schnellen Speicher bis zum Massenspeicher miteinander verbindet, um Datenbewegungen zu minimieren.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#warum-ai-inferenz-den-speicherengpass-versch%C3%A4rft\" class=\"anchor\" id=\"warum-ai-inferenz-den-speicherengpass-verschärft\"\u003e\u003c/a\u003eWarum AI-Inferenz den Speicherengpass verschärft\u003c/h2\u003e\n\u003ch3\u003e\n\u003ca href=\"#modellgewichte-und-kv-caches-stellen-unterschiedliche-belastungen-dar\" class=\"anchor\" id=\"modellgewichte-und-kv-caches-stellen-unterschiedliche-belastungen-dar\"\u003e\u003c/a\u003eModellgewichte und KV-Caches stellen unterschiedliche Belastungen dar\u003c/h3\u003e\n\u003cp\u003eDer für AI-Inferenz erforderliche Speicher lässt sich im Wesentlichen in Modellgewichte, während der Ausführung erzeugte Aktivierungen und KV-Caches unterteilen. Modellgewichte belegen auch ohne Anfragen eine feste Kapazität, während KV-Caches mit der Länge der Eingabe, der Länge der Ausgabe und der Zahl gleichzeitiger Anfragen wachsen.\u003c/p\u003e\n\u003cp\u003eTransformer-Modelle speichern die Attention-Key- und Value-Informationen jeder Schicht im KV-Cache, damit frühere Token nicht jedes Mal von Grund auf neu berechnet werden müssen. Vereinfacht ausgedrückt ist die Größe des KV-Caches einer einzelnen Anfrage proportional zu den folgenden Faktoren.\u003c/p\u003e\n\u003cp\u003eDie genaue Größe des KV-Caches muss anhand der Modellarchitektur und der Implementierungsspezifikationen ermittelt werden.\u003c/p\u003e\n\u003cp\u003eIm KV-Cache werden Keys und Values jeweils separat gespeichert. Daher wächst der KV-Cache schnell, wenn der Kontext länger wird oder viele Nutzer gleichzeitig verarbeitet werden. Nicht alle Modelle verwenden Millionen von Token, und die Cache-Größe steigt auch nicht einheitlich um das Hundertfache. Klar ist jedoch, dass Langtext-Inferenz und agentenbasierte Aufgaben den Speicherdruck erhöhen.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#halluzinationen-und-speicherkapazit%C3%A4t-sind-nicht-dasselbe-problem\" class=\"anchor\" id=\"halluzinationen-und-speicherkapazität-sind-nicht-dasselbe-problem\"\u003e\u003c/a\u003eHalluzinationen und Speicherkapazität sind nicht dasselbe Problem\u003c/h3\u003e\n\u003cp\u003eLängere Kontexte und Retrieval-Augmented Generation können dem Modell mehr Belege bereitstellen. Halluzinationen verschwinden jedoch nicht allein durch eine Vergrößerung des Speichers. Zusätzlich erforderlich sind die Qualität der Suchergebnisse, der Aufbau der Prompts, die Schlussfolgerungsfähigkeit des Modells sowie Systeme zur Quellenprüfung und Evaluierung.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#software-kann-den-bedarf-an-physischem-speicher-reduzieren\" class=\"anchor\" id=\"software-kann-den-bedarf-an-physischem-speicher-reduzieren\"\u003e\u003c/a\u003eSoftware kann den Bedarf an physischem Speicher reduzieren\u003c/h3\u003e\n\u003cp\u003eDer KV-Cache-Engpass wird nicht allein durch den Ausbau der Hardware gelöst.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eMQA und GQA verringern die Zahl der zu speichernden KV-Heads.\u003c/li\u003e\n\u003cli\u003eQuantisierung reduziert die Anzahl der Bytes für Gewichte und Caches.\u003c/li\u003e\n\u003cli\u003ePagedAttention verwaltet Caches seitenweise und verringert so Fragmentierung und Verschwendung.\u003c/li\u003e\n\u003cli\u003eContinuous Batching bündelt mehrere Anfragen effizient.\u003c/li\u003e\n\u003cli\u003ePrefix Caching verwendet wiederkehrende System-Prompts oder gemeinsame Kontexte erneut.\u003c/li\u003e\n\u003cli\u003eCache-Bereinigung und schichtweises Offloading verschieben weniger wichtige Informationen in langsamere Speicher.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eDie tatsächlichen Speicherinvestitionen eines Rechenzentrums hängen daher nicht nur von der Modellgröße, sondern auch von der Effizienz der Inferenz-Engine ab.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#die-speicherhierarchie-von-ai-rechenzentren\" class=\"anchor\" id=\"die-speicherhierarchie-von-ai-rechenzentren\"\u003e\u003c/a\u003eDie Speicherhierarchie von AI-Rechenzentren\u003c/h2\u003e\n\u003cp\u003eEin einzelner Speicher kann Geschwindigkeit, Kapazität, Preis und Energieeffizienz nur schwer gleichzeitig erfüllen. AI-Rechenzentren werden sich voraussichtlich zu einer Hierarchie wie der folgenden entwickeln.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eEbene\u003c/th\u003e\n\u003cth\u003eRepräsentative Technologie\u003c/th\u003e\n\u003cth\u003eStärke\u003c/th\u003e\n\u003cth\u003eWesentliche Einschränkung\u003c/th\u003e\n\u003cth\u003eErwartete Rolle\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Ebene\"\u003eInnerhalb des Chips\u003c/td\u003e\n\u003ctd data-label=\"Repräsentative Technologie\"\u003eSRAM, Register\u003c/td\u003e\n\u003ctd data-label=\"Stärke\"\u003ekürzeste Latenz\u003c/td\u003e\n\u003ctd data-label=\"Wesentliche Einschränkung\"\u003esehr geringe Kapazität und hohe Flächenkosten\u003c/td\u003e\n\u003ctd data-label=\"Erwartete Rolle\"\u003esofort benötigte Daten und Rechenzwischenergebnisse\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Ebene\"\u003eNahe am Beschleuniger\u003c/td\u003e\n\u003ctd data-label=\"Repräsentative Technologie\"\u003eHBM\u003c/td\u003e\n\u003ctd data-label=\"Stärke\"\u003ehohe Bandbreite und vergleichsweise kurze Latenz\u003c/td\u003e\n\u003ctd data-label=\"Wesentliche Einschränkung\"\u003eEinschränkungen bei Kapazität, Packaging-Kosten und Wärme\u003c/td\u003e\n\u003ctd data-label=\"Erwartete Rolle\"\u003eaktive Gewichte, häufig verwendete KV-Caches\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Ebene\"\u003eServerspeicher\u003c/td\u003e\n\u003ctd data-label=\"Repräsentative Technologie\"\u003eDDR, über CXL angebundener Speicher\u003c/td\u003e\n\u003ctd data-label=\"Stärke\"\u003egrößere erweiterbare Kapazität als HBM\u003c/td\u003e\n\u003ctd data-label=\"Wesentliche Einschränkung\"\u003egrößere Entfernung zum Beschleuniger und geringere Bandbreite\u003c/td\u003e\n\u003ctd data-label=\"Erwartete Rolle\"\u003eCache-Erweiterung, Modell-Tiering, Speicherpool\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Ebene\"\u003eHochbandbreiten-Flash\u003c/td\u003e\n\u003ctd data-label=\"Repräsentative Technologie\"\u003eHBF-Konzept\u003c/td\u003e\n\u003ctd data-label=\"Stärke\"\u003ehohe NAND-basierte Dichte und Nichtflüchtigkeit\u003c/td\u003e\n\u003ctd data-label=\"Wesentliche Einschränkung\"\u003eLeselatenz, Schreibhaltbarkeit, Komplexität der Steuerung\u003c/td\u003e\n\u003ctd data-label=\"Erwartete Rolle\"\u003eEbene für weniger häufig verwendete Gewichte und KV-Caches\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Ebene\"\u003eStorage\u003c/td\u003e\n\u003ctd data-label=\"Repräsentative Technologie\"\u003eNVMe SSD\u003c/td\u003e\n\u003ctd data-label=\"Stärke\"\u003egroße Kapazität und niedrige Kosten pro Bit\u003c/td\u003e\n\u003ctd data-label=\"Wesentliche Einschränkung\"\u003ehöhere Latenz als Speicher\u003c/td\u003e\n\u003ctd data-label=\"Erwartete Rolle\"\u003eCheckpoints, Datensätze, kalte Daten\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eEntscheidend ist nicht, ob HBM oder HBF gewinnt, sondern dass mehrere Ebenen entsprechend der Nutzungshäufigkeit der Daten eingesetzt werden.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#der-auf-der-fms-2026-sichtbare-wettbewerb-um-speicher-der-n%C3%A4chsten-generation\" class=\"anchor\" id=\"der-auf-der-fms-2026-sichtbare-wettbewerb-um-speicher-der-nächsten-generation\"\u003e\u003c/a\u003eDer auf der FMS 2026 sichtbare Wettbewerb um Speicher der nächsten Generation\u003c/h2\u003e\n\u003cp\u003eDie im August 2026 im US-amerikanischen Santa Clara veranstaltete FMS behandelte AI-Speicher- und Storage-Architekturen für die Zeit nach HBM als ein zentrales Thema. Im Mittelpunkt der Diskussionen standen höhere Stapel, NAND-basierte Ebenen mit großer Kapazität, maßgeschneiderte Speicher und Verbindungstechnologien für Rechenzentren.\u003c/p\u003e\n\u003cp\u003eGHBM von Samsung Electronics und HBF, das SK hynix mit Google·SanDisk erörterte, wurden als Beispiele für diese Entwicklung vorgestellt. Allerdings lässt sich nur schwer behaupten, dass Bezeichnungen wie GHBM, HBF und THBM allesamt von JEDEC als allgemeine Generationsnamen mit identischen Spezifikationen festgelegt wurden. Technologien im Ankündigungsstadium, gemeinsame Entwicklungskonzepte und standardisierte kommerzielle Produkte müssen voneinander unterschieden werden.\u003c/p\u003e\n\u003cp\u003eAuch bedeutet eine höhere Generationsbezeichnung nicht zwangsläufig, dass reale AI-Dienste schneller werden. Effektive Bandbreite, Speicherkapazität, Latenz, Stromverbrauch, Kühlung, Package-Ausbeute und Softwareunterstützung müssen gemeinsam verglichen werden.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#die-st%C3%A4rken-und-kapazit%C3%A4tsgrenzen-von-hbm\" class=\"anchor\" id=\"die-stärken-und-kapazitätsgrenzen-von-hbm\"\u003e\u003c/a\u003eDie Stärken und Kapazitätsgrenzen von HBM\u003c/h2\u003e\n\u003cp\u003eHBM stapelt mehrere DRAM-Dies vertikal und verbindet sie über Through-Silicon Vias und breite Schnittstellen. Sein entscheidender Vorteil besteht darin, dass es nahe am Beschleuniger große Datenmengen parallel bereitstellen kann, anders als herkömmlicher, auf Platinen montierter Speicher.\u003c/p\u003e\n\u003cp\u003eDie Kapazität von HBM lässt sich jedoch nicht unbegrenzt erhöhen.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003eMit zunehmender Zahl der Stapelschichten steigen die Anforderungen an Fertigungsausbeute und Prüfung.\u003c/li\u003e\n\u003cli\u003eDie Package-Fläche, auf der GPU und HBM gemeinsam angeordnet werden, wächst.\u003c/li\u003e\n\u003cli\u003eDie von Beschleuniger und Speicher erzeugte Wärme muss auf engem Raum abgeführt werden.\u003c/li\u003e\n\u003cli\u003eAuch die Stromversorgung und die Verdrahtung des Interposers werden komplexer.\u003c/li\u003e\n\u003cli\u003eWerden in teurem HBM auch selten genutzte Daten gespeichert, sinkt die Wirtschaftlichkeit.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003eDaher gewinnt eine hierarchische Struktur an Bedeutung, bei der HBM die am häufigsten verwendeten Daten übernimmt und der Rest an CXL-Speicher, Flash oder SSDs weitergegeben wird.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#kann-hbf-hbm-ersetzen\" class=\"anchor\" id=\"kann-hbf-hbm-ersetzen\"\u003e\u003c/a\u003eKann HBF HBM ersetzen?\u003c/h2\u003e\n\u003cp\u003eHBF steht für High Bandwidth Flash und bezeichnet ein Konzept, bei dem NAND-Flash parallelisiert und gestapelt wird, um eine hochbandbreitige Speicherebene zu schaffen, die näher am Beschleuniger liegt als herkömmliche SSDs. Da NAND eine höhere Dichte und Nichtflüchtigkeit als DRAM bietet, kann im gleichen physischen Raum potenziell eine größere Datenmenge gespeichert werden.\u003c/p\u003e\n\u003cp\u003eNAND besitzt jedoch andere Eigenschaften als DRAM.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eDie Leselatenz ist höher.\u003c/li\u003e\n\u003cli\u003eVor dem Überschreiben ist ein Löschvorgang erforderlich.\u003c/li\u003e\n\u003cli\u003eDie Lebensdauer muss anhand der Zahl der Schreibvorgänge verwaltet werden.\u003c/li\u003e\n\u003cli\u003eDefekte Blöcke, Fehlerkorrektur und Wear Leveling müssen berücksichtigt werden.\u003c/li\u003e\n\u003cli\u003eGroße sequenzielle Zugriffe sind vorteilhafter als unregelmäßige Zugriffe in kleinen Einheiten.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eSelbst wenn HBF kommerzialisiert wird, dürfte es HBM daher nicht direkt ersetzen, sondern eher als \u003cstrong\u003eEbene mit großer Kapazität zwischen HBM und SSDs\u003c/strong\u003e dienen. Leselastige Modellgewichte, selten wiederverwendete Caches, Checkpoints und Suchdaten kommen dafür infrage. Die tatsächliche Eignung hängt von Schnittstellenstandards, Latenz, Haltbarkeit sowie der Unterstützung durch Controller und Inferenzsoftware ab.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#die-von-ghbm-und-thbm-aufgeworfenen-probleme-des-3d-packagings\" class=\"anchor\" id=\"die-von-ghbm-und-thbm-aufgeworfenen-probleme-des-3d-packagings\"\u003e\u003c/a\u003eDie von GHBM und THBM aufgeworfenen Probleme des 3D-Packagings\u003c/h2\u003e\n\u003cp\u003eDie seitliche Platzierung von Beschleuniger und HBM nebeneinander im Package stößt bei Verbindungsbreite und Package-Fläche an Grenzen. Um diese zu überwinden, entstehen Konzepte, bei denen Logik und Speicher vertikal gestapelt werden, um die Leitungslängen zu verkürzen.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#eine-struktur-mit-speicher-%C3%BCber-der-gpu\" class=\"anchor\" id=\"eine-struktur-mit-speicher-über-der-gpu\"\u003e\u003c/a\u003eEine Struktur mit Speicher über der GPU\u003c/h3\u003e\n\u003cp\u003eDas als GHBM oder Z-Achsen-HBM vorgestellte Konzept verbindet GPU und HBM vertikal, um die Entfernung der Datenübertragung zu verkürzen. Von kurzen und zahlreichen vertikalen Verbindungen werden hohe Bandbreite und ein geringer Energieverbrauch bei Ein- und Ausgabe erwartet.\u003c/p\u003e\n\u003cp\u003eDas Problem ist die Wärme. Wird Speicher über der GPU platziert, kann die von der GPU erzeugte Wärme auf dem Weg zwischen Speicher und Kühlsystem hindurchtreten. Der Ausdruck „der Speicher schmilzt“ ist eher eine Metapher zur Hervorhebung des Wärmeproblems als eine technische Beschreibung. Die tatsächlichen Risiken bestehen in der Überschreitung der zulässigen Temperaturen von Verbindungsstellen und Speicher, erhöhtem Leckstrom, Leistungseinschränkungen und verkürzter Lebensdauer.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#speicher-unten-gpu-oben\" class=\"anchor\" id=\"speicher-unten-gpu-oben\"\u003e\u003c/a\u003eSpeicher unten, GPU oben\u003c/h3\u003e\n\u003cp\u003eDas Berichten zufolge vom Team um KAIST-Professor Kim Jeong-ho vorgeschlagene THBM basiert auf der Idee, die GPU oberhalb des HBM-Stacks zu platzieren und damit die stark wärmeerzeugende Logik näher an das Kühlsystem zu bringen. Dies kann die Wärmeabfuhr erleichtern, doch folgende Herausforderungen bleiben bestehen.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003emechanische Stabilität des schweren Logik-Dies und des Speicherstapels\u003c/li\u003e\n\u003cli\u003eStromversorgung und Signalverdrahtung\u003c/li\u003e\n\u003cli\u003eBonding-Ausbeute von Dies aus unterschiedlichen Fertigungsprozessen\u003c/li\u003e\n\u003cli\u003eAustausch defekter Dies und Testbarkeit\u003c/li\u003e\n\u003cli\u003ePackage-Design einschließlich Kühlplatte\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eDie Wettbewerbsfähigkeit vertikaler Stapel lässt sich nicht allein anhand eines Konzeptdiagramms beurteilen. Erforderlich sind Messergebnisse zu Wärmewiderstand, effektiver Bandbreite, Ausbeute und Gesamtbetriebskosten.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#sind-optische-interconnects-ein-umweg-um-die-abh%C3%A4ngigkeit-vom-speicher-zu-vermeiden\" class=\"anchor\" id=\"sind-optische-interconnects-ein-umweg-um-die-abhängigkeit-vom-speicher-zu-vermeiden\"\u003e\u003c/a\u003eSind optische Interconnects ein Umweg, um die Abhängigkeit vom Speicher zu vermeiden?\u003c/h2\u003e\n\u003cp\u003eUm Speicher und Storage außerhalb der GPU zu nutzen, müssen Daten größere Entfernungen zurücklegen. Je länger die Strecke und je höher die Übertragungsgeschwindigkeit elektrischer Signale ist, desto mehr Strom benötigen Signalkorrektur und erneute Übertragung. Optische Interconnects gelten als Kandidat für eine höhere Bandbreitendichte und einen geringeren Übertragungsenergieverbrauch bei Hochgeschwindigkeitsverbindungen zwischen Servern, Racks und Clustern.\u003c/p\u003e\n\u003cp\u003eDie verstärkten Aktivitäten von NVIDIA im Bereich optischer Netzwerke lassen sich nur schwer ausschließlich als Strategie zur Vermeidung der Abhängigkeit von einem bestimmten Speicherunternehmen erklären. Der unmittelbarere Hintergrund besteht darin, dass Netzwerke zum Engpass des gesamten AI-Systems werden, weil Beschleunigersysteme über einzelne Server hinaus auf Rack- und Rechenzentrumsebene skalieren.\u003c/p\u003e\n\u003cp\u003eAuch optische Verbindungen ersetzen HBM nicht. HBM dürfte für die kurze Latenz direkt neben dem Beschleuniger zuständig bleiben, während optische Verbindungen weiter entfernte Speicherpools und mehrere Beschleuniger miteinander verbinden.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#wie-ma%C3%9Fgeschneidertes-hbm-die-speicherindustrie-ver%C3%A4ndert\" class=\"anchor\" id=\"wie-maßgeschneidertes-hbm-die-speicherindustrie-verändert\"\u003e\u003c/a\u003eWie maßgeschneidertes HBM die Speicherindustrie verändert\u003c/h2\u003e\n\u003cp\u003eHerkömmlicher Standard-DRAM hatte vor allem den Charakter eines Produkts mit einheitlichen Spezifikationen, das an mehrere Kunden geliefert wurde. Da bei HBM GPU-Package, Interposer, Base-Die sowie Strom- und Wärmedesign gemeinsam abgestimmt werden müssen, nimmt der Anteil gemeinsamer Entwicklung durch Kunden und Speicherunternehmen zu.\u003c/p\u003e\n\u003cp\u003eBei maßgeschneidertem HBM oder CHBM können die folgenden Funktionen in den Base-Die integriert werden.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eOptimierung von Speichersteuerung und Schnittstellen\u003c/li\u003e\n\u003cli\u003eFehlerkorrektur und Zuverlässigkeitsmanagement\u003c/li\u003e\n\u003cli\u003eDatenkomprimierung und Steuerung der Datenübertragung\u003c/li\u003e\n\u003cli\u003eSicherheits- oder Virtualisierungsfunktionen\u003c/li\u003e\n\u003cli\u003ebegrenzte Datenvorverarbeitung und Berechnung\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eDiese Struktur kann Speicheranbieter von einfachen Komponentenherstellern zu Partnern bei der gemeinsamen Systementwicklung machen. Da Mengen und Spezifikationen bereits früh in der Entwicklung vereinbart werden, können auch langfristige Verträge und Kundenbindung an Bedeutung gewinnen.\u003c/p\u003e\n\u003cp\u003eEine stärkere Anpassung beseitigt den Speicherzyklus jedoch nicht vollständig. Das Tempo der AI-Investitionen, die Kundenkonzentration, Packaging-Kapazitäten, Ausbeute und Preise für Standard-DRAM können weiterhin Ergebnisschwankungen verursachen. Zudem besteht das Risiko, dass sich für einen bestimmten Kunden optimierte Produkte bei einer Veränderung der Nachfrage nur schwer an andere Kunden verkaufen lassen.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#ist-die-interpretation-zutreffend-dass-die-gpu-entwicklung-zum-stillstand-gekommen-ist\" class=\"anchor\" id=\"ist-die-interpretation-zutreffend-dass-die-gpu-entwicklung-zum-stillstand-gekommen-ist\"\u003e\u003c/a\u003eIst die Interpretation zutreffend, dass die GPU-Entwicklung zum Stillstand gekommen ist?\u003c/h2\u003e\n\u003cp\u003eEs ist schwer zu behaupten, dass die Entwicklung von GPUs faktisch zum Stillstand gekommen ist. Beschleuniger entwickeln sich bei Rechenformaten mit niedriger Präzision, der Verarbeitung von Sparsität, speziellen Transformer-Engines, Chiplets, Netzwerken und Kühlung weiter.\u003c/p\u003e\n\u003cp\u003eVerändert haben sich die Bewertungskriterien. Wichtiger als die maximale Rechenleistung eines einzelnen Chips sind folgende Kennzahlen geworden.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003edie in realen Modellen erreichte effektive Speicherbandbreite\u003c/li\u003e\n\u003cli\u003eLatenz bis zum ersten Token und Token-Generierungsgeschwindigkeit pro Nutzer\u003c/li\u003e\n\u003cli\u003eZahl der verarbeiteten Token pro Watt\u003c/li\u003e\n\u003cli\u003eSpeicherkapazität und Netzwerkbandbreite pro Rack\u003c/li\u003e\n\u003cli\u003eGesamtkosten für die Bereitstellung eines Modells\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eAuch die Verbreitung von Open-Source-Modellen hat nicht dazu geführt, dass sich die Fähigkeiten aller Modelle angeglichen haben. Da ähnliche Modelle nun von mehreren Anbietern genutzt werden können, ist die Bedeutung effizienter Hardware-Nutzung und leistungsfähiger Dienstbereitstellung jedoch tatsächlich gestiegen.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#leicht-%C3%BCbersehene-variablen-zuverl%C3%A4ssigkeit-sicherheit-und-programmiermodell\" class=\"anchor\" id=\"leicht-übersehene-variablen-zuverlässigkeit-sicherheit-und-programmiermodell\"\u003e\u003c/a\u003eLeicht übersehene Variablen: Zuverlässigkeit, Sicherheit und Programmiermodell\u003c/h2\u003e\n\u003cp\u003eDiskussionen über Speicher der nächsten Generation konzentrieren sich auf Bandbreite und Kapazität, doch weitere Faktoren entscheiden über die tatsächliche Kommerzialisierung.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#datengenauigkeit-und-lebensdauer\" class=\"anchor\" id=\"datengenauigkeit-und-lebensdauer\"\u003e\u003c/a\u003eDatengenauigkeit und Lebensdauer\u003c/h3\u003e\n\u003cp\u003eMit zunehmender Stapelung und Dichte des Speichers gewinnen Wärme, Fehlerraten und Lebensdauer an Bedeutung. Bei der AI-Inferenz kann sich eine stille Datenkorruption nicht in einem sofortigen Systemausfall, sondern in fehlerhaften Ausgaben äußern. Fehlerkorrektur, Prüfung der Datenintegrität und Fehlerisolierung sind ebenso wichtig wie die Leistung.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#sicherheit-gemeinsam-genutzter-speicher\" class=\"anchor\" id=\"sicherheit-gemeinsam-genutzter-speicher\"\u003e\u003c/a\u003eSicherheit gemeinsam genutzter Speicher\u003c/h3\u003e\n\u003cp\u003eWenn CXL-Speicherpools oder externe Caches von mehreren Beschleunigern und Kunden gemeinsam genutzt werden, sind Datenisolierung, Verschlüsselung, Zugriffsrechte und das Löschen verbliebener Daten erforderlich. Mit wachsender Speicherkapazität nehmen auch die zu schützenden Modellgewichte und Nutzerkontexte zu.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#k%C3%B6nnen-entwickler-ihn-nutzen\" class=\"anchor\" id=\"können-entwickler-ihn-nutzen\"\u003e\u003c/a\u003eKönnen Entwickler ihn nutzen?\u003c/h3\u003e\n\u003cp\u003eSelbst wenn eine neue Speicherebene vorhanden ist, bleibt ihr Nutzen gering, wenn Compiler und Inferenz-Engines die Datenplatzierung nicht automatisch bestimmen können. Erforderlich ist eine Runtime, die verwaltet, welche Tensoren und KV-Caches in HBM, HBF, CXL-Speicher oder SSDs abgelegt werden. Letztlich wird der Hardwarewettbewerb zu einem Wettbewerb um Speicherscheduler und Systemsoftware.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#sind-ai-rechenzentren-speicherfabriken\" class=\"anchor\" id=\"sind-ai-rechenzentren-speicherfabriken\"\u003e\u003c/a\u003eSind AI-Rechenzentren Speicherfabriken?\u003c/h2\u003e\n\u003cp\u003eGroße AI-Rechenzentren als „Speicherfabriken“ zu bezeichnen, ist als Metapher für die strategische Bedeutung von Speicher nützlich. Schließlich werden Modellgewichte, KV-Caches, Trainingsdaten, Checkpoints und Suchindizes auf mehreren Ebenen gespeichert.\u003c/p\u003e\n\u003cp\u003eFür die Verallgemeinerung, dass stets ein bestimmter Anteil der Rechenzentrumskosten auf Speicher und Strom entfällt, fehlt jedoch eine ausreichende Grundlage. Die Kostenstruktur hängt vom Verhältnis zwischen Training und Inferenz, den Strompreisen, der Abschreibung der Server, Netzwerken, Kühlung, Auslastung und Modelleffizienz ab.\u003c/p\u003e\n\u003cp\u003eEine präzisere Schlussfolgerung lautet:\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003eKünftige AI-Rechenzentren werden über Orte hinausgehen, an denen viele GPUs installiert sind, und zu Systemen werden, die Daten auf der jeweils am besten geeigneten Speicherebene platzieren und mit minimalem Energieaufwand übertragen.\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003ch2\u003e\n\u003ca href=\"#bedeutung-f%C3%BCr-die-koreanische-halbleiterindustrie\" class=\"anchor\" id=\"bedeutung-für-die-koreanische-halbleiterindustrie\"\u003e\u003c/a\u003eBedeutung für die koreanische Halbleiterindustrie\u003c/h2\u003e\n\u003cp\u003eKorea verfügt über umfangreiche Fertigungskapazitäten für HBM und NAND-Flash und nimmt daher beim Übergang zu speicherzentrierten Systemen eine wichtige Position ein. Allein das Produktionsvolumen von Speicher garantiert jedoch keinen langfristigen Vorsprung.\u003c/p\u003e\n\u003cp\u003eErforderlich sind folgende Strategien.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003eKompetenzen für die gemeinsame Entwicklung von HBM, HBF und fortschrittlichem Packaging sichern.\u003c/li\u003e\n\u003cli\u003eDen Designanteil bei Base-Dies, Schnittstellen-IP und Speichercontrollern erhöhen.\u003c/li\u003e\n\u003cli\u003eUnternehmen für Wärmemanagement, Leistungshalbleiter, optische Interconnects und Rechenzentrumssysteme fördern.\u003c/li\u003e\n\u003cli\u003eEin Softwareökosystem schaffen, mit dem Compiler und Inferenz-Engines koreanischen Speicher effizient nutzen können.\u003c/li\u003e\n\u003cli\u003eReale Anwendungsfälle schaffen, die Hardware, AI-Modelle und Dienste in Smartphones, Automobilen, Robotern und Haushaltsgeräten miteinander verbinden.\u003c/li\u003e\n\u003cli\u003eRisiken durch die Abhängigkeit von einzelnen Kunden oder einer einzigen Packaging-Lieferkette steuern.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003eEine „Position, in der sich AI nur schwer ohne Korea entwickeln lässt“, entsteht nicht allein durch Produktionsmengen. Erst wenn Standards, Designressourcen, Fertigung, Packaging, Software und Enddienste miteinander verbunden sind, entsteht eine industrielle Stellung, die nur schwer zu ersetzen ist.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#ausblick-hierarchisierung-und-gemeinsame-entwicklung-statt-ersatz\" class=\"anchor\" id=\"ausblick-hierarchisierung-und-gemeinsame-entwicklung-statt-ersatz\"\u003e\u003c/a\u003eAusblick: Hierarchisierung und gemeinsame Entwicklung statt Ersatz\u003c/h2\u003e\n\u003cp\u003eStatt von einem vollständigen Wechsel AI-basierter Halbleiter von GPU-zentrierten zu speicherzentrierten Systemen auszugehen, ist es präziser, den Prozess als zunehmende Auflösung der Grenze zwischen Recheneinheit und Speicher zu betrachten.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eHBM übernimmt die Daten, die am schnellsten verfügbar sein müssen.\u003c/li\u003e\n\u003cli\u003eHBF und CXL-Speicher stellen größere Kapazitäten bereit.\u003c/li\u003e\n\u003cli\u003eSSDs übernehmen die langfristige Speicherung und kalte Daten.\u003c/li\u003e\n\u003cli\u003eOptische Interconnects senken die Kosten für die Verbindung weit entfernter Ressourcen.\u003c/li\u003e\n\u003cli\u003eMaßgeschneiderte Base-Dies und PIM verlagern bestimmte Berechnungen näher an die Daten.\u003c/li\u003e\n\u003cli\u003eInferenzsoftware entscheidet, auf welcher Ebene die jeweiligen Daten abgelegt werden.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eDer Gewinner der AI-Infrastruktur der nächsten Generation wird voraussichtlich nicht das Unternehmen sein, das eine einzelne, besonders schnelle GPU entwickelt, sondern ein Ökosystem, das Rechenleistung, Speicher, Verbindungen, Stromversorgung, Kühlung und Software als ein einziges System optimiert.\u003c/p\u003e\n","tags":["Halbleiter","KI Rechenzentrum","SK hynix","Halbleiter für KI","HBM"],"faqs":[{"question":"Bedeutet speicherzentriertes Computing, dass GPUs durch Speicher ersetzt werden?","answer":"Nein. GPUs und andere Beschleuniger übernehmen weiterhin die Berechnungen. Speicherzentriertes Computing ist ein Ansatz, bei dem Beschleuniger, HBM, externer Speicher, Massenspeicher und Netzwerke gemeinsam konzipiert werden, um den Zeit- und Energieaufwand für die Datenübertragung zu reduzieren."},{"question":"Warum wird der KV-Cache bei langen Kontexten größer?","answer":"Transformer speichern die Schlüssel- und Wertinformationen vorheriger Token für jede Schicht, damit dieselben Berechnungen nicht wiederholt werden müssen. Da die gespeicherte Datenmenge im Allgemeinen proportional zur Anzahl der Token, der Schichten und der KV-Heads sowie zur Größe des Datenformats ist, erhöhen lange Kontexte und viele gleichzeitige Anfragen den Speicherbedarf."},{"question":"Ist HBF grundsätzlich besser als HBM, wenn es eine größere Kapazität hat?","answer":"Nein. NAND-basiertes HBF bietet zwar die Vorteile einer hohen Integrationsdichte und Nichtflüchtigkeit, weist jedoch eine höhere Latenz als DRAM-basiertes HBM auf, und die Verwaltung der Schreibbeständigkeit und von Fehlern ist komplexer. Realistischer ist eine hierarchische Konfiguration, bei der häufig verwendete Daten im HBM und seltener verwendete Daten im HBF abgelegt werden."},{"question":"Was ist der Unterschied zwischen HBF und einer herkömmlichen NVMe-SSD?","answer":"HBF ist ein Konzept, bei dem NAND-Flash über eine breitere und stärker parallelisierte Schnittstelle näher am Beschleuniger angebunden wird, um eine höhere Bandbreite als herkömmliche SSDs bereitzustellen. Die konkrete Leistung und Art der Anbindung können je nach Produkt und Ergebnis der Standardisierung variieren."},{"question":"Welche Vorteile bietet es, GPU und HBM vertikal zu stapeln?","answer":"Durch kürzere Verbindungswege und die Möglichkeit, zahlreiche vertikale Leitungen zu nutzen, kann dies Vorteile bei der Bandbreite und dem Energieverbrauch der Ein- und Ausgabe bieten. Andererseits werden Probleme im Zusammenhang mit Wärmedichte, Stromversorgung, Bonding-Ausbeute, Prüfung und Kühlung schwieriger."},{"question":"Können optische Interconnects HBM ersetzen?","answer":"Optische Interconnects eignen sich dafür, mehrere Beschleuniger oder Speicherressourcen über größere Entfernungen zu verbinden, ersetzen jedoch nicht unmittelbar die niedrige Latenz von HBM direkt neben dem Beschleuniger. Die beiden Technologien werden wahrscheinlich unterschiedliche Entfernungen und Speicherebenen abdecken."},{"question":"Kann maßgeschneidertes HBM den Preiszyklus bei Speicherprodukten beseitigen?","answer":"Maßgeschneiderte Designs und langfristige Lieferverträge können im Vergleich zu Standardspeicherprodukten die Preisstabilität und Kundenbeziehungen stärken. Die Auswirkungen von Schwankungen bei AI-Investitionen, Produktionskapazitäten, Ausbeute, Kundenkonzentration und den Preisen für Standard-DRAM verschwinden dadurch jedoch nicht."},{"question":"Verschwinden AI-Halluzinationen, wenn lange Kontexte unterstützt werden?","answer":"Nein. Lange Kontexte können mehr Belege bereitstellen, doch wenn die Qualität der abgerufenen Materialien, die Fähigkeiten des Modells, die Gestaltung der Anweisungen und die Überprüfung der Quellen unzureichend sind, können falsche Antworten entstehen. Eine Erweiterung des Speichers ist lediglich eines der Mittel zur Verringerung von Halluzinationen."},{"question":"Sind GHBM, HBF und THBM bereits verbindlich festgelegte Industriestandards?","answer":"Nicht alle Bezeichnungen dürfen als gleichermaßen verbindlich festgelegte Standards betrachtet werden. Einige können lediglich Bezeichnungen aus Unternehmensankündigungen oder Forschungsvorschlägen sein. Daher müssen die Spezifikationen von Standardisierungsorganisationen wie JEDEC, die endgültigen Spezifikationen der Hersteller und der tatsächliche Status der Massenproduktion jeweils gesondert geprüft werden."}],"sources":[{"url":"https://futurememorystorage.com/","title":"FMS: Die Zukunft von Arbeitsspeicher und Datenspeicherung","type":"source"},{"url":"https://arxiv.org/abs/2309.06180","title":"Effiziente Speicherverwaltung für die Bereitstellung großer Sprachmodelle mit PagedAttention","type":"source"},{"url":"https://arxiv.org/abs/2205.14135","title":"FlashAttention: Schnelle und speichereffiziente exakte Attention mit IO-Bewusstsein","type":"source"},{"url":"https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/","title":"Beherrschung von LLM-Techniken: Inferenzoptimierung","type":"source"},{"url":"https://www.cxlconsortium.org/","title":"Compute Express Link-Konsortium","type":"source"},{"url":"https://www.uciexpress.org/","title":"UCIe-Konsortium","type":"source"}],"images":[{"id":716,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAxOCwicHVyIjoiYmxvYl9pZCJ9fQ==--5e9ff3355e5af64800fe3a3753eb07a1847f7fba/ai-db43622c.webp","is_representative":true,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"중앙 AI 칩과 RAM 모듈, 적층 메모리, 서버, 저장장치가 데이터 경로로 연결된 개념도","caption":"AI 반도체를 중심으로 메모리와 서버, 저장장치 사이의 데이터 흐름을 시각화했다.","description":null},"en":{"alt":"Central AI chip linked by data paths to RAM, stacked memory, servers, and storage","caption":"The illustration visualizes data flowing between an AI chip, memory, servers, and storage.","description":null},"ja":{"alt":"中央のAIチップとRAM、積層メモリ、サーバー、ストレージをデータ経路で結んだ概念図","caption":"AIチップを中心に、メモリやサーバー、ストレージ間のデータの流れを示している。","description":null},"es":{"alt":"Chip de IA central conectado por rutas de datos a RAM, memoria apilada, servidores y almacenamiento","caption":"La ilustración muestra el flujo de datos entre un chip de IA, la memoria, los servidores y el almacenamiento.","description":null},"id":{"alt":"Chip AI pusat terhubung melalui jalur data ke RAM, memori bertumpuk, server, dan penyimpanan","caption":"Ilustrasi ini memvisualisasikan aliran data antara chip AI, memori, server, dan penyimpanan.","description":null},"pt":{"alt":"Chip de IA central ligado por fluxos de dados à RAM, memória empilhada, servidores e armazenamento","caption":"A ilustração mostra o fluxo de dados entre um chip de IA, a memória, os servidores e o armazenamento.","description":null},"zh-hant":{"alt":"中央AI晶片透過資料路徑連接RAM、堆疊記憶體、伺服器與儲存裝置","caption":"插圖呈現AI晶片與記憶體、伺服器及儲存裝置之間的資料流動。","description":null},"de":{"alt":"Zentraler KI-Chip, über Datenpfade mit RAM, Stapelspeicher, Servern und Speichern verbunden","caption":"Die Illustration zeigt den Datenfluss zwischen einem KI-Chip, Speicher, Servern und Datenspeichern.","description":null}}},{"id":717,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAyNCwicHVyIjoiYmxvYl9pZCJ9fQ==--0b4dbc6fd04a7a2893bbf9865c8b7e32463f6e20/ai-29d9b4a3.webp","is_representative":false,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"적층 메모리와 프로세서, 서버를 고속 링크로 연결한 AI 반도체 구조 일러스트","caption":"적층 메모리와 서버 간 데이터 흐름을 중심으로 AI 반도체 구조를 표현했다.","description":null},"en":{"alt":"Exploded AI chip with stacked memory, processor layers, server racks, and glowing data links","caption":"The illustration highlights data flow between stacked memory, processors, and servers.","description":null},"ja":{"alt":"積層メモリとプロセッサ、サーバーを高速リンクで結ぶAI半導体の構造図","caption":"積層メモリとサーバー間のデータフローを中心にAI半導体の構造を表している。","description":null},"es":{"alt":"Chip de IA por capas con memoria apilada, procesadores, servidores y enlaces de datos luminosos","caption":"La ilustración destaca el flujo de datos entre la memoria apilada, los procesadores y los servidores.","description":null},"id":{"alt":"Chip AI berlapis dengan memori bertumpuk, prosesor, rak server, dan jalur data bercahaya","caption":"Ilustrasi ini menyoroti aliran data antara memori bertumpuk, prosesor, dan server.","description":null},"pt":{"alt":"Chip de IA em camadas com memória empilhada, processadores, servidores e conexões luminosas","caption":"A ilustração destaca o fluxo de dados entre memória empilhada, processadores e servidores.","description":null},"zh-hant":{"alt":"分層AI晶片結合堆疊記憶體、處理器、伺服器機櫃與發光資料連線","caption":"此圖呈現堆疊記憶體、處理器與伺服器之間的資料流動。","description":null},"de":{"alt":"Mehrschichtiger KI-Chip mit gestapeltem Speicher, Prozessoren, Serverracks und leuchtenden Datenleitungen","caption":"Die Illustration zeigt den Datenfluss zwischen gestapeltem Speicher, Prozessoren und Servern.","description":null}}}],"published_at":"2026-08-17T21:47:47+09:00","updated_at":"2026-08-17T21:47:47+09:00","license":"cc_by","translation_status":"reviewed","available_locales":["ko","en","ja","es"],"data_locales":["ko","en","ja","es","id","pt","zh-hant","de"],"url":"https://injoys.com/en/articles/memory-centric-ai-chips-hbm-hbf-packaging"}