---
title: "Dari Berpusat pada GPU ke Berpusat pada Memori: Pergeseran Paradigma Semikonduktor AI"
locale: id
category: trends
category_name: "Tren"
translation_status: reviewed
license: cc_by
author: "injoys"
source_url: https://injoys.com/en/articles/memory-centric-ai-chips-hbm-hbf-packaging
published_at: 2026-08-17T21:47:47+09:00
---

# Dari Berpusat pada GPU ke Berpusat pada Memori: Pergeseran Paradigma Semikonduktor AI

> Hambatan dalam sistem AI tidak lagi hanya terletak pada kinerja komputasi, tetapi bergeser ke kemampuan menyimpan dan memindahkan data. Seiring berpaduannya HBM, HBF berbasis NAND, base die khusus, pengemasan 3D, dan interkoneksi optik, komputasi berpusat pada memori yang merancang akselerator dan memori secara terpadu mulai berkembang.

## Key Points

- Komputasi berpusat pada memori bukanlah konsep untuk meniadakan GPU, melainkan pendekatan yang merancang unit komputasi dan hierarki memori secara terpadu guna mengurangi biaya perpindahan data.
- Konteks panjang dan meningkatnya permintaan simultan memperbesar kebutuhan kapasitas cache KV, sehingga bukan hanya bandwidth HBM, tetapi juga kapasitas memori total dan teknologi hierarki menjadi penting.
- HBF memanfaatkan kepadatan tinggi memori flash NAND, tetapi karena masalah latensi, masa pakai penulisan, dan pengelolaan kesalahan, HBF kemungkinan besar akan melengkapi HBM alih-alih menggantikannya secara langsung.
- Struktur yang menumpuk memori secara vertikal di atas atau di bawah GPU mengurangi jarak pengawatan, tetapi menimbulkan kendala baru berupa kepadatan panas, yield, pasokan daya, dan pendinginan.
- HBM khusus memperluas keterlibatan perusahaan memori dalam desain, tetapi tidak menghilangkan fluktuasi harga memori dan siklus pasokan itu sendiri.

Kriteria persaingan semikonduktor AI meluas dari sekadar jumlah operasi komputasi menjadi **seberapa banyak data yang dapat disimpan dan dipindahkan dengan daya rendah**. Dalam inferensi AI skala besar, GPU terkadang harus menunggu bukan karena tidak mampu melakukan komputasi, melainkan karena bobot model dan cache KV yang diperlukan tidak dapat dipasok tepat waktu.

Perubahan ini sering digambarkan sebagai “peralihan dari berpusat pada GPU menjadi berpusat pada memori”. Namun, ini tidak berarti GPU akan menghilang atau berhenti berkembang. Lebih tepatnya, arahnya adalah merancang GPU, HBM, memori eksternal, penyimpanan, jaringan, dan perangkat lunak secara bersama-sama sebagai satu sistem pemindahan data.

## Apa itu komputasi berpusat pada memori

**Komputasi berpusat pada memori adalah pendekatan yang menjadikan lokasi, bandwidth, kapasitas, dan fungsi komputasi memori sebagai titik awal perancangan sistem untuk mengurangi biaya pengangkutan data secara berulang ke unit komputasi**.

Throughput aritmetika chip AI telah meningkat pesat, tetapi proses mengambil data dari luar chip relatif lambat dan menggunakan banyak daya. Oleh karena itu, teknologi berikut menjadi penting secara bersamaan.

- HBM yang ditempatkan dekat GPU atau akselerator AI
- Pengemasan 3D yang menghubungkan memori dan logika secara vertikal
- HBM khusus yang memasukkan fungsi kontrol atau sebagian fungsi komputasi ke dalam base die
- Ekspansi dan pooling memori menggunakan CXL
- Konsep HBF yang menghubungkan flash NAND melalui antarmuka lebar
- Interkoneksi optik untuk menurunkan daya transmisi antara chip dan server
- PIM dan near-memory computing yang memproses data di dekat memori

Dengan kata lain, istilah berpusat pada memori tidak merujuk pada satu produk memori tertentu. Ini adalah prinsip sistem yang menggabungkan berbagai lapisan, mulai dari memori cepat hingga perangkat penyimpanan berkapasitas besar, untuk meminimalkan perpindahan data.

## Mengapa inferensi AI memperbesar bottleneck memori

### Bobot model dan cache KV menimbulkan beban yang berbeda

Memori yang diperlukan untuk inferensi AI secara garis besar terbagi menjadi bobot model, nilai aktivasi yang dihasilkan selama eksekusi, dan cache KV. Bobot model menempati ukuran tetap meskipun tidak ada permintaan, sedangkan cache KV bertambah sesuai panjang input, panjang output, dan jumlah permintaan simultan.

Model transformer menyimpan informasi key dan value atensi pada setiap lapisan dalam cache KV agar tidak perlu menghitung token sebelumnya dari awal setiap kali. Jika disederhanakan, ukuran cache KV untuk satu permintaan sebanding dengan faktor-faktor berikut.

Ukuran cache KV yang tepat harus diperiksa berdasarkan arsitektur model dan spesifikasi implementasinya.

Key dan value masing-masing disimpan dalam cache KV. Karena itu, ketika konteks menjadi lebih panjang atau jumlah pengguna yang diproses secara bersamaan bertambah, cache KV akan membesar dengan cepat. Tidak semua model menggunakan jutaan token atau mengalami peningkatan cache secara seragam hingga ratusan kali lipat, tetapi arahnya jelas bahwa inferensi teks panjang dan pekerjaan berbasis agen meningkatkan tekanan memori.

### Halusinasi dan kapasitas memori bukanlah masalah yang sama

Konteks yang lebih panjang dan retrieval-augmented generation dapat memberikan lebih banyak dasar informasi kepada model. Namun, menambah memori saja tidak akan menghilangkan halusinasi. Kualitas hasil pencarian, susunan prompt, kemampuan penalaran model, verifikasi sumber, dan sistem evaluasi juga diperlukan secara bersamaan.

### Perangkat lunak juga dapat mengurangi kebutuhan memori fisik

Bottleneck cache KV tidak hanya diatasi dengan menambah perangkat keras.

- MQA dan GQA mengurangi jumlah KV head yang harus disimpan.
- Kuantisasi mengurangi jumlah byte pada bobot dan cache.
- PagedAttention mengelola cache berdasarkan halaman untuk mengurangi fragmentasi dan pemborosan.
- Continuous batching mengelompokkan beberapa permintaan secara efisien.
- Prefix caching menggunakan kembali system prompt atau konteks umum yang berulang.
- Penghapusan cache dan offloading berdasarkan lapisan memindahkan informasi yang kurang penting ke memori yang lebih lambat.

Karena itu, jumlah investasi memori aktual di pusat data tidak hanya bergantung pada ukuran model, tetapi juga pada efisiensi mesin inferensi.

## Hierarki memori pusat data AI

Sulit bagi satu jenis memori untuk sekaligus memenuhi kebutuhan kecepatan, kapasitas, harga, dan efisiensi daya. Pusat data AI kemungkinan akan berkembang menjadi struktur hierarkis berikut.

| Lapisan | Teknologi utama | Keunggulan | Keterbatasan utama | Peran yang diperkirakan |
|---|---|---|---|---|
| Di dalam chip | SRAM, register | Latensi paling singkat | Kapasitas sangat kecil dan biaya area tinggi | Data yang segera digunakan dan nilai perantara komputasi |
| Di dekat akselerator | HBM | Bandwidth tinggi dan latensi relatif singkat | Keterbatasan kapasitas, biaya pengemasan, dan panas | Bobot aktif, cache KV yang sering digunakan |
| Memori server | DDR, memori yang terhubung melalui CXL | Kapasitas ekspansi lebih besar daripada HBM | Lebih jauh dari akselerator dan bandwidth lebih rendah | Ekspansi cache, pelapisan model, memory pool |
| Flash bandwidth tinggi | Konsep HBF | Kepadatan tinggi berbasis NAND dan sifat nonvolatil | Latensi baca, usia tulis, kompleksitas kontrol | Lapisan untuk bobot dan cache KV yang lebih jarang digunakan |
| Penyimpanan | NVMe SSD | Kapasitas besar dan biaya per bit rendah | Latensi lebih panjang daripada memori | Checkpoint, dataset, data dingin |

Intinya bukan salah satu dari HBM dan HBF yang menang, melainkan menempatkan beberapa lapisan berdasarkan frekuensi penggunaan data.

## Persaingan memori generasi berikutnya yang ditunjukkan FMS 2026

FMS yang diselenggarakan di Santa Clara, Amerika Serikat, pada Agustus 2026 menjadikan struktur memori dan penyimpanan AI setelah HBM sebagai agenda utama. Pembahasan berfokus pada penumpukan yang lebih tinggi, lapisan berkapasitas besar berbasis NAND, memori khusus, dan teknologi konektivitas pusat data.

GHBM dari Samsung Electronics serta HBF yang dibahas SK hynix bersama Google dan SanDisk diperkenalkan sebagai contoh yang menunjukkan arah tersebut. Namun, sulit untuk menyimpulkan bahwa istilah seperti GHBM, HBF, dan THBM semuanya merupakan nama generasi universal dengan spesifikasi identik yang telah ditetapkan oleh JEDEC. Teknologi pada tahap pengumuman perusahaan, konsep pengembangan bersama, dan produk komersial terstandar harus dibaca secara terpisah.

Selain itu, nama generasi yang lebih tinggi tidak selalu membuat layanan AI aktual menjadi lebih cepat. Bandwidth efektif, kapasitas memori, latensi, daya, pendinginan, yield paket, dan dukungan perangkat lunak harus dibandingkan secara bersamaan.

## Keunggulan dan keterbatasan kapasitas HBM

HBM menumpuk beberapa die DRAM secara vertikal dan menghubungkannya melalui through-silicon via serta antarmuka lebar. Keunggulan utamanya adalah dapat memasok banyak data secara paralel dari lokasi yang dekat dengan akselerator dibandingkan memori berbentuk papan konvensional.

Namun, kapasitas HBM sulit ditingkatkan tanpa batas.

1. Ketika jumlah lapisan meningkat, tingkat kesulitan yield produksi dan pengujian juga bertambah.
2. Area paket untuk menempatkan GPU dan HBM bersama-sama menjadi lebih besar.
3. Panas yang dihasilkan akselerator dan memori harus dibuang dari ruang yang sempit.
4. Jaringan pasokan daya dan pengkabelan interposer juga menjadi lebih kompleks.
5. Penggunaan HBM yang mahal untuk menyimpan data dengan frekuensi penggunaan rendah mengurangi kelayakan ekonominya.

Karena itu, pelapisan menjadi penting, dengan HBM menangani data yang paling sering digunakan dan sisanya dialihkan ke memori CXL, flash, atau SSD.

## Apakah HBF dapat menggantikan HBM

HBF adalah singkatan dari High Bandwidth Flash, yaitu konsep untuk memparalelkan dan menumpuk flash NAND guna menciptakan lapisan memori bandwidth tinggi yang lebih dekat ke akselerator dibandingkan SSD konvensional. Karena NAND menawarkan kepadatan lebih tinggi dan sifat nonvolatil dibandingkan DRAM, ada peluang untuk memuat lebih banyak data dalam ruang fisik yang sama.

Namun, karakteristik NAND berbeda dari DRAM.

- Latensi bacanya lebih panjang.
- Proses penghapusan diperlukan sebelum penimpaan.
- Masa pakai perlu dikelola berdasarkan jumlah penulisan.
- Pengelolaan blok rusak, koreksi kesalahan, dan wear leveling diperlukan.
- Lebih cocok untuk akses berurutan dalam unit besar daripada akses acak dalam unit kecil.

Karena itu, sekalipun dikomersialkan, HBF kemungkinan besar akan berfungsi sebagai **lapisan berkapasitas besar antara HBM dan SSD**, bukan menggantikan HBM secara langsung. Bobot model yang berorientasi pada pembacaan, cache dengan frekuensi penggunaan ulang rendah, checkpoint, dan data pencarian dapat menjadi kandidat. Kesesuaian aktualnya bergantung pada standar antarmuka, latensi, daya tahan, controller, serta dukungan perangkat lunak inferensi.

## Masalah pengemasan 3D yang diajukan GHBM dan THBM

Metode menempatkan akselerator dan HBM berdampingan di dalam paket memiliki keterbatasan pada lebar koneksi dan area paket. Untuk mengatasinya, muncul konsep menumpuk logika dan memori secara vertikal guna memperpendek jalur pengkabelan.

### Struktur yang menempatkan memori di atas GPU

Konsep yang diperkenalkan sebagai GHBM atau HBM sumbu Z menggabungkan GPU dan HBM secara vertikal untuk mengurangi jarak perpindahan data. Koneksi vertikal yang pendek dan berjumlah banyak diharapkan memberikan bandwidth tinggi serta daya input-output yang rendah.

Masalahnya adalah panas. Jika memori ditempatkan di atas GPU, panas yang dihasilkan GPU dapat melewati ruang antara memori dan perangkat pendingin. Ungkapan “memori meleleh” lebih menyerupai metafora yang menekankan masalah panas daripada penjelasan teknis. Risiko sebenarnya adalah suhu sambungan dan memori yang melampaui batas, peningkatan arus bocor, pembatasan performa, dan penurunan masa pakai.

### Struktur memori di bawah dan GPU di atas

THBM, yang diketahui diusulkan oleh tim Profesor Kim Jung-ho dari KAIST, merupakan gagasan menempatkan GPU di bagian atas tumpukan HBM agar logika yang menghasilkan banyak panas berada lebih dekat dengan perangkat pendingin. Ini mungkin menguntungkan bagi pembuangan panas, tetapi tantangan berikut masih tersisa.

- Stabilitas mekanis die logika yang berat dan tumpukan memori
- Pasokan daya dan pengkabelan sinyal
- Yield penyambungan die yang dibuat dengan proses berbeda
- Kemungkinan mengganti dan menguji die yang rusak
- Desain paket yang mencakup pelat pendingin

Daya saing penumpukan vertikal tidak dapat dinilai hanya dari diagram konsep. Diperlukan hasil pengukuran resistansi termal, bandwidth efektif, yield, dan total biaya kepemilikan.

## Apakah interkoneksi optik merupakan jalan memutar untuk menghindari ketergantungan pada memori

Untuk menggunakan memori dan penyimpanan di luar GPU, data harus berpindah dalam jarak yang lebih jauh. Semakin jauh jarak dan semakin tinggi kecepatan transmisi sinyal listrik, semakin banyak daya yang diperlukan untuk koreksi sinyal dan transmisi ulang. Interkoneksi optik mendapat perhatian sebagai kandidat untuk meningkatkan kepadatan bandwidth dan daya transmisi pada koneksi berkecepatan tinggi antara server, rak, dan klaster.

Sulit untuk menjelaskan tren NVIDIA yang memperkuat jaringan optik hanya sebagai strategi untuk menghindari ketergantungan pada perusahaan memori tertentu. Latar belakang yang lebih langsung adalah jaringan menjadi bottleneck bagi keseluruhan sistem AI karena skala akselerator berkembang melampaui satu server hingga tingkat rak dan pusat data.

Koneksi optik juga tidak menggantikan HBM. HBM kemungkinan akan menangani kebutuhan latensi singkat di dekat akselerator, sedangkan koneksi optik berperan menghubungkan memory pool yang lebih jauh dan sejumlah akselerator.

## Bagaimana HBM khusus mengubah industri memori

DRAM serbaguna konvensional cenderung memasok produk dengan spesifikasi yang sama kepada banyak pelanggan. Karena HBM mengharuskan penyesuaian bersama pada paket GPU, interposer, base die, serta desain daya dan panas, porsi perancangan bersama antara pelanggan dan perusahaan memori menjadi lebih besar.

Dalam HBM khusus atau CHBM, fungsi berikut dapat dimasukkan ke dalam base die.

- Optimalisasi kontrol memori dan antarmuka
- Koreksi kesalahan dan pengelolaan keandalan
- Kompresi data dan kontrol perpindahan
- Fungsi keamanan atau virtualisasi
- Prapemrosesan dan komputasi data secara terbatas

Struktur ini dapat mengangkat pemasok memori dari sekadar produsen komponen menjadi mitra perancang sistem. Karena volume dan spesifikasi dibahas pada tahap awal pengembangan, efek kontrak jangka panjang dan penguncian pelanggan juga dapat meningkat.

Namun, kustomisasi tidak sepenuhnya menghilangkan siklus memori. Kecepatan investasi AI, konsentrasi pelanggan, kapasitas produksi pengemasan, yield, dan harga DRAM serbaguna masih dapat menimbulkan fluktuasi kinerja bisnis. Produk yang dioptimalkan untuk pelanggan tertentu juga berisiko sulit dijual kepada pelanggan lain ketika permintaan berubah.

## Apakah penafsiran bahwa perkembangan GPU telah berhenti itu akurat

Sulit untuk menyimpulkan bahwa perkembangan GPU pada dasarnya telah berhenti. Akselerator terus berkembang ke arah yang mencakup format komputasi presisi rendah, pemrosesan sparsitas, mesin khusus transformer, chiplet, jaringan, dan pendinginan.

Yang berubah adalah kriteria evaluasinya. Dibandingkan performa komputasi maksimum satu chip, indikator berikut menjadi lebih penting.

- Bandwidth memori efektif yang dicapai pada model aktual
- Latensi token pertama per pengguna dan kecepatan pembuatan token
- Jumlah token yang diproses per watt
- Kapasitas memori dan bandwidth jaringan per rak
- Total biaya untuk melayani model

Penyebaran model open-source juga tidak berarti seluruh kemampuan model telah menjadi setara. Namun, karena sejumlah penyedia dapat memanfaatkan model yang serupa, memang benar bahwa efisiensi operasional perangkat keras dan kemampuan penerapan layanan menjadi semakin penting.

## Variabel yang mudah terlewatkan: keandalan, keamanan, dan model pemrograman

Pembahasan memori generasi berikutnya berfokus pada bandwidth dan kapasitas, tetapi terdapat faktor lain yang menentukan komersialisasi aktual.

### Akurasi dan masa pakai data

Ketika penumpukan dan kepadatan memori meningkat, masalah panas, tingkat kesalahan, dan masa pakai menjadi semakin penting. Dalam inferensi AI, kerusakan data senyap dapat muncul sebagai output yang salah, bukan penghentian sistem secara langsung. Koreksi kesalahan, pemeriksaan integritas data, dan isolasi kegagalan sama pentingnya dengan performa.

### Keamanan memori bersama

Jika memory pool CXL atau cache eksternal digunakan bersama oleh sejumlah akselerator dan pelanggan, diperlukan isolasi data, enkripsi, hak akses, serta penghapusan data residu. Semakin besar kapasitas memori, semakin banyak pula bobot model dan konteks pengguna yang harus dilindungi.

### Apakah pengembang dapat menggunakannya

Meskipun tersedia lapisan memori baru, kegunaannya akan rendah jika compiler dan mesin inferensi tidak dapat menentukan penempatan data secara otomatis. Diperlukan runtime yang mengelola tensor dan cache KV mana yang ditempatkan di HBM, HBF, memori CXL, atau SSD. Pada akhirnya, persaingan perangkat keras akan berkembang menjadi persaingan penjadwal memori dan perangkat lunak sistem.

## Apakah pusat data AI merupakan pabrik memori

Menyebut pusat data AI skala besar sebagai “pabrik memori” berguna sebagai metafora untuk menekankan pentingnya memori secara strategis. Alasannya, bobot model, cache KV, data pelatihan, checkpoint, dan indeks pencarian disimpan di berbagai lapisan.

Namun, generalisasi bahwa persentase tertentu dari biaya pusat data selalu digunakan untuk memori dan daya tidak memiliki dasar yang cukup. Komposisi biaya berbeda-beda menurut proporsi pelatihan dan inferensi, harga listrik, depresiasi server, jaringan, pendinginan, tingkat pemanfaatan, dan efisiensi model.

Kesimpulan yang lebih akurat adalah sebagai berikut.

> Pusat data AI masa depan tidak sekadar menjadi tempat untuk memasang banyak GPU, tetapi menjadi sistem yang menempatkan data pada lapisan memori paling tepat dan memindahkannya dengan daya seminimal mungkin.

## Implikasi bagi industri semikonduktor Korea

Korea memiliki kemampuan manufaktur skala besar untuk HBM dan flash NAND, sehingga menempati posisi penting dalam peralihan menuju sistem yang berpusat pada memori. Namun, volume produksi memori saja sulit menjamin keunggulan jangka panjang.

Strategi yang diperlukan adalah sebagai berikut.

1. Mengamankan kemampuan untuk merancang HBM, HBF, dan pengemasan canggih secara terpadu.
2. Meningkatkan porsi desain base die, IP antarmuka, dan controller memori.
3. Mengembangkan perusahaan di bidang manajemen panas, semikonduktor daya, interkoneksi optik, dan sistem pusat data.
4. Membangun ekosistem perangkat lunak agar compiler dan mesin inferensi dapat memanfaatkan memori buatan Korea secara efisien.
5. Mengamankan kasus penggunaan nyata yang menghubungkan perangkat keras, model AI, dan layanan pada ponsel pintar, mobil, robot, dan peralatan rumah tangga.
6. Mengelola risiko ketergantungan pada pelanggan tertentu atau satu rantai pasok pengemasan.

“Posisi yang membuat AI sulit dibangun tanpa melalui Korea” tidak tercipta hanya dari volume produksi. Posisi industri yang sulit digantikan akan terbentuk ketika standar, aset desain, manufaktur, pengemasan, perangkat lunak, dan layanan akhir saling terhubung.

## Prospek: pelapisan dan perancangan bersama, bukan penggantian

Daripada melihat semikonduktor AI sepenuhnya beralih dari berpusat pada GPU menjadi berpusat pada memori, lebih tepat memandangnya sebagai proses memudarnya batas antara unit komputasi dan memori.

- HBM menangani data yang harus digunakan paling cepat.
- HBF dan memori CXL menyediakan kapasitas yang lebih besar.
- SSD menangani penyimpanan jangka panjang dan data dingin.
- Interkoneksi optik menurunkan biaya untuk menghubungkan sumber daya yang berjauhan.
- Base die khusus dan PIM memindahkan sebagian komputasi lebih dekat ke data.
- Perangkat lunak inferensi menentukan di lapisan mana setiap data akan ditempatkan.

Pemenang infrastruktur AI generasi berikutnya kemungkinan bukan perusahaan yang membuat satu GPU tercepat, melainkan ekosistem yang mengoptimalkan komputasi, memori, konektivitas, daya, pendinginan, dan perangkat lunak sebagai satu sistem.

## FAQ

### Apakah komputasi berpusat pada memori berarti menggantikan GPU dengan memori?
Tidak. GPU dan akselerator lainnya tetap menangani komputasi. Komputasi berpusat pada memori adalah pendekatan yang merancang akselerator, HBM, memori eksternal, penyimpanan, dan jaringan secara terpadu untuk mengurangi waktu serta daya yang diperlukan dalam pemindahan data.

### Mengapa cache KV membesar pada konteks yang panjang?
Transformer menyimpan informasi key dan value dari token sebelumnya untuk setiap lapisan agar tidak mengulangi komputasi yang sama. Jumlah penyimpanan umumnya sebanding dengan jumlah token, jumlah lapisan, jumlah head KV, dan ukuran format data, sehingga konteks yang panjang serta banyak permintaan secara bersamaan meningkatkan penggunaan memori.

### Apakah HBF selalu lebih baik jika kapasitasnya lebih besar daripada HBM?
Tidak. HBF berbasis NAND memiliki keunggulan berupa kepadatan tinggi dan nonvolatilitas, tetapi latensinya lebih tinggi daripada HBM berbasis DRAM, serta pengelolaan umur tulis dan galatnya lebih rumit. Konfigurasi berjenjang yang menempatkan data yang sering digunakan di HBM dan data yang jarang digunakan di HBF lebih realistis.

### Apa perbedaan antara HBF dan SSD NVMe biasa?
HBF adalah konsep yang bertujuan menyediakan bandwidth lebih tinggi daripada SSD konvensional dengan menghubungkan NAND flash lebih dekat ke akselerator melalui antarmuka yang lebih lebar dan paralel. Performa dan metode koneksi spesifik dapat berbeda bergantung pada produk dan hasil standardisasi.

### Apa keunggulan menumpuk GPU dan HBM secara vertikal?
Jarak koneksi menjadi lebih pendek dan banyak jalur vertikal dapat digunakan, sehingga berpotensi menguntungkan dari segi bandwidth dan daya I/O. Di sisi lain, masalah kepadatan panas, pasokan daya, tingkat keberhasilan penyambungan, pengujian, dan pendinginan menjadi lebih sulit.

### Dapatkah interkoneksi optik menggantikan HBM?
Interkoneksi optik cocok untuk menghubungkan banyak akselerator atau sumber daya memori dalam jarak jauh, tetapi tidak dapat sepenuhnya menggantikan latensi rendah HBM yang berada tepat di sebelah akselerator. Kedua teknologi tersebut kemungkinan besar akan menangani jarak dan tingkatan memori yang berbeda.

### Dapatkah HBM khusus menghilangkan siklus harga memori?
Desain khusus dan kontrak pasokan jangka panjang dapat meningkatkan stabilitas harga dan hubungan dengan pelanggan dibandingkan memori serbaguna. Namun, pengaruh fluktuasi investasi AI, kapasitas produksi, tingkat hasil produksi, konsentrasi pelanggan, dan harga DRAM serbaguna tidak akan sepenuhnya hilang.

### Apakah halusinasi AI akan hilang jika konteks panjang didukung?
Tidak. Konteks panjang dapat menyediakan lebih banyak dasar informasi, tetapi jawaban yang salah masih dapat dihasilkan jika kualitas materi hasil pencarian, kemampuan model, penyusunan instruksi, dan verifikasi sumber tidak memadai. Penambahan kapasitas memori hanyalah salah satu cara untuk mengurangi halusinasi.

### Apakah GHBM, HBF, dan THBM sudah menjadi standar industri yang ditetapkan?
Semua istilah tersebut tidak boleh dianggap sebagai standar yang telah ditetapkan pada tingkat yang sama. Sebagian mungkin merupakan nama yang masih berada pada tahap pengumuman perusahaan atau usulan penelitian, sehingga spesifikasi dari organisasi standardisasi seperti JEDEC, spesifikasi akhir produsen, dan status produksi massal aktual perlu diperiksa secara terpisah.

## Sources

- [FMS: Masa Depan Memori dan Penyimpanan](https://futurememorystorage.com/)
- [Manajemen Memori yang Efisien untuk Penyajian Model Bahasa Besar dengan PagedAttention](https://arxiv.org/abs/2309.06180)
- [FlashAttention: Attention Eksak yang Cepat dan Hemat Memori dengan Kesadaran IO](https://arxiv.org/abs/2205.14135)
- [Menguasai Teknik LLM: Optimalisasi Inferensi](https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/)
- [Konsorsium Compute Express Link](https://www.cxlconsortium.org/)
- [Konsorsium UCIe](https://www.uciexpress.org/)

## Images

![Chip AI pusat terhubung melalui jalur data ke RAM, memori bertumpuk, server, dan penyimpanan](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAxOCwicHVyIjoiYmxvYl9pZCJ9fQ==--5e9ff3355e5af64800fe3a3753eb07a1847f7fba/ai-db43622c.webp)
![Chip AI berlapis dengan memori bertumpuk, prosesor, rak server, dan jalur data bercahaya](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAyNCwicHVyIjoiYmxvYl9pZCJ9fQ==--0b4dbc6fd04a7a2893bbf9865c8b7e32463f6e20/ai-29d9b4a3.webp)