{"content_id":"htuvoxtoaw","slug":"memory-centric-ai-chips-hbm-hbf-packaging","locale":"id","schema_type":"TechArticle","category":"trends","category_name":"Tren","title":"Dari Berpusat pada GPU ke Berpusat pada Memori: Pergeseran Paradigma Semikonduktor AI","summary":"Hambatan dalam sistem AI tidak lagi hanya terletak pada kinerja komputasi, tetapi bergeser ke kemampuan menyimpan dan memindahkan data. Seiring berpaduannya HBM, HBF berbasis NAND, base die khusus, pengemasan 3D, dan interkoneksi optik, komputasi berpusat pada memori yang merancang akselerator dan memori secara terpadu mulai berkembang.","sponsorship_disclosure":null,"author":{"name":"injoys","url":"https://injoys.com/ko/about"},"key_points":["Komputasi berpusat pada memori bukanlah konsep untuk meniadakan GPU, melainkan pendekatan yang merancang unit komputasi dan hierarki memori secara terpadu guna mengurangi biaya perpindahan data.","Konteks panjang dan meningkatnya permintaan simultan memperbesar kebutuhan kapasitas cache KV, sehingga bukan hanya bandwidth HBM, tetapi juga kapasitas memori total dan teknologi hierarki menjadi penting.","HBF memanfaatkan kepadatan tinggi memori flash NAND, tetapi karena masalah latensi, masa pakai penulisan, dan pengelolaan kesalahan, HBF kemungkinan besar akan melengkapi HBM alih-alih menggantikannya secara langsung.","Struktur yang menumpuk memori secara vertikal di atas atau di bawah GPU mengurangi jarak pengawatan, tetapi menimbulkan kendala baru berupa kepadatan panas, yield, pasokan daya, dan pendinginan.","HBM khusus memperluas keterlibatan perusahaan memori dalam desain, tetapi tidak menghilangkan fluktuasi harga memori dan siklus pasokan itu sendiri."],"content_markdown":"Kriteria persaingan semikonduktor AI meluas dari sekadar jumlah operasi komputasi menjadi **seberapa banyak data yang dapat disimpan dan dipindahkan dengan daya rendah**. Dalam inferensi AI skala besar, GPU terkadang harus menunggu bukan karena tidak mampu melakukan komputasi, melainkan karena bobot model dan cache KV yang diperlukan tidak dapat dipasok tepat waktu.\n\nPerubahan ini sering digambarkan sebagai “peralihan dari berpusat pada GPU menjadi berpusat pada memori”. Namun, ini tidak berarti GPU akan menghilang atau berhenti berkembang. Lebih tepatnya, arahnya adalah merancang GPU, HBM, memori eksternal, penyimpanan, jaringan, dan perangkat lunak secara bersama-sama sebagai satu sistem pemindahan data.\n\n## Apa itu komputasi berpusat pada memori\n\n**Komputasi berpusat pada memori adalah pendekatan yang menjadikan lokasi, bandwidth, kapasitas, dan fungsi komputasi memori sebagai titik awal perancangan sistem untuk mengurangi biaya pengangkutan data secara berulang ke unit komputasi**.\n\nThroughput aritmetika chip AI telah meningkat pesat, tetapi proses mengambil data dari luar chip relatif lambat dan menggunakan banyak daya. Oleh karena itu, teknologi berikut menjadi penting secara bersamaan.\n\n- HBM yang ditempatkan dekat GPU atau akselerator AI\n- Pengemasan 3D yang menghubungkan memori dan logika secara vertikal\n- HBM khusus yang memasukkan fungsi kontrol atau sebagian fungsi komputasi ke dalam base die\n- Ekspansi dan pooling memori menggunakan CXL\n- Konsep HBF yang menghubungkan flash NAND melalui antarmuka lebar\n- Interkoneksi optik untuk menurunkan daya transmisi antara chip dan server\n- PIM dan near-memory computing yang memproses data di dekat memori\n\nDengan kata lain, istilah berpusat pada memori tidak merujuk pada satu produk memori tertentu. Ini adalah prinsip sistem yang menggabungkan berbagai lapisan, mulai dari memori cepat hingga perangkat penyimpanan berkapasitas besar, untuk meminimalkan perpindahan data.\n\n## Mengapa inferensi AI memperbesar bottleneck memori\n\n### Bobot model dan cache KV menimbulkan beban yang berbeda\n\nMemori yang diperlukan untuk inferensi AI secara garis besar terbagi menjadi bobot model, nilai aktivasi yang dihasilkan selama eksekusi, dan cache KV. Bobot model menempati ukuran tetap meskipun tidak ada permintaan, sedangkan cache KV bertambah sesuai panjang input, panjang output, dan jumlah permintaan simultan.\n\nModel transformer menyimpan informasi key dan value atensi pada setiap lapisan dalam cache KV agar tidak perlu menghitung token sebelumnya dari awal setiap kali. Jika disederhanakan, ukuran cache KV untuk satu permintaan sebanding dengan faktor-faktor berikut.\n\nUkuran cache KV yang tepat harus diperiksa berdasarkan arsitektur model dan spesifikasi implementasinya.\n\nKey dan value masing-masing disimpan dalam cache KV. Karena itu, ketika konteks menjadi lebih panjang atau jumlah pengguna yang diproses secara bersamaan bertambah, cache KV akan membesar dengan cepat. Tidak semua model menggunakan jutaan token atau mengalami peningkatan cache secara seragam hingga ratusan kali lipat, tetapi arahnya jelas bahwa inferensi teks panjang dan pekerjaan berbasis agen meningkatkan tekanan memori.\n\n### Halusinasi dan kapasitas memori bukanlah masalah yang sama\n\nKonteks yang lebih panjang dan retrieval-augmented generation dapat memberikan lebih banyak dasar informasi kepada model. Namun, menambah memori saja tidak akan menghilangkan halusinasi. Kualitas hasil pencarian, susunan prompt, kemampuan penalaran model, verifikasi sumber, dan sistem evaluasi juga diperlukan secara bersamaan.\n\n### Perangkat lunak juga dapat mengurangi kebutuhan memori fisik\n\nBottleneck cache KV tidak hanya diatasi dengan menambah perangkat keras.\n\n- MQA dan GQA mengurangi jumlah KV head yang harus disimpan.\n- Kuantisasi mengurangi jumlah byte pada bobot dan cache.\n- PagedAttention mengelola cache berdasarkan halaman untuk mengurangi fragmentasi dan pemborosan.\n- Continuous batching mengelompokkan beberapa permintaan secara efisien.\n- Prefix caching menggunakan kembali system prompt atau konteks umum yang berulang.\n- Penghapusan cache dan offloading berdasarkan lapisan memindahkan informasi yang kurang penting ke memori yang lebih lambat.\n\nKarena itu, jumlah investasi memori aktual di pusat data tidak hanya bergantung pada ukuran model, tetapi juga pada efisiensi mesin inferensi.\n\n## Hierarki memori pusat data AI\n\nSulit bagi satu jenis memori untuk sekaligus memenuhi kebutuhan kecepatan, kapasitas, harga, dan efisiensi daya. Pusat data AI kemungkinan akan berkembang menjadi struktur hierarkis berikut.\n\n| Lapisan | Teknologi utama | Keunggulan | Keterbatasan utama | Peran yang diperkirakan |\n|---|---|---|---|---|\n| Di dalam chip | SRAM, register | Latensi paling singkat | Kapasitas sangat kecil dan biaya area tinggi | Data yang segera digunakan dan nilai perantara komputasi |\n| Di dekat akselerator | HBM | Bandwidth tinggi dan latensi relatif singkat | Keterbatasan kapasitas, biaya pengemasan, dan panas | Bobot aktif, cache KV yang sering digunakan |\n| Memori server | DDR, memori yang terhubung melalui CXL | Kapasitas ekspansi lebih besar daripada HBM | Lebih jauh dari akselerator dan bandwidth lebih rendah | Ekspansi cache, pelapisan model, memory pool |\n| Flash bandwidth tinggi | Konsep HBF | Kepadatan tinggi berbasis NAND dan sifat nonvolatil | Latensi baca, usia tulis, kompleksitas kontrol | Lapisan untuk bobot dan cache KV yang lebih jarang digunakan |\n| Penyimpanan | NVMe SSD | Kapasitas besar dan biaya per bit rendah | Latensi lebih panjang daripada memori | Checkpoint, dataset, data dingin |\n\nIntinya bukan salah satu dari HBM dan HBF yang menang, melainkan menempatkan beberapa lapisan berdasarkan frekuensi penggunaan data.\n\n## Persaingan memori generasi berikutnya yang ditunjukkan FMS 2026\n\nFMS yang diselenggarakan di Santa Clara, Amerika Serikat, pada Agustus 2026 menjadikan struktur memori dan penyimpanan AI setelah HBM sebagai agenda utama. Pembahasan berfokus pada penumpukan yang lebih tinggi, lapisan berkapasitas besar berbasis NAND, memori khusus, dan teknologi konektivitas pusat data.\n\nGHBM dari Samsung Electronics serta HBF yang dibahas SK hynix bersama Google dan SanDisk diperkenalkan sebagai contoh yang menunjukkan arah tersebut. Namun, sulit untuk menyimpulkan bahwa istilah seperti GHBM, HBF, dan THBM semuanya merupakan nama generasi universal dengan spesifikasi identik yang telah ditetapkan oleh JEDEC. Teknologi pada tahap pengumuman perusahaan, konsep pengembangan bersama, dan produk komersial terstandar harus dibaca secara terpisah.\n\nSelain itu, nama generasi yang lebih tinggi tidak selalu membuat layanan AI aktual menjadi lebih cepat. Bandwidth efektif, kapasitas memori, latensi, daya, pendinginan, yield paket, dan dukungan perangkat lunak harus dibandingkan secara bersamaan.\n\n## Keunggulan dan keterbatasan kapasitas HBM\n\nHBM menumpuk beberapa die DRAM secara vertikal dan menghubungkannya melalui through-silicon via serta antarmuka lebar. Keunggulan utamanya adalah dapat memasok banyak data secara paralel dari lokasi yang dekat dengan akselerator dibandingkan memori berbentuk papan konvensional.\n\nNamun, kapasitas HBM sulit ditingkatkan tanpa batas.\n\n1. Ketika jumlah lapisan meningkat, tingkat kesulitan yield produksi dan pengujian juga bertambah.\n2. Area paket untuk menempatkan GPU dan HBM bersama-sama menjadi lebih besar.\n3. Panas yang dihasilkan akselerator dan memori harus dibuang dari ruang yang sempit.\n4. Jaringan pasokan daya dan pengkabelan interposer juga menjadi lebih kompleks.\n5. Penggunaan HBM yang mahal untuk menyimpan data dengan frekuensi penggunaan rendah mengurangi kelayakan ekonominya.\n\nKarena itu, pelapisan menjadi penting, dengan HBM menangani data yang paling sering digunakan dan sisanya dialihkan ke memori CXL, flash, atau SSD.\n\n## Apakah HBF dapat menggantikan HBM\n\nHBF adalah singkatan dari High Bandwidth Flash, yaitu konsep untuk memparalelkan dan menumpuk flash NAND guna menciptakan lapisan memori bandwidth tinggi yang lebih dekat ke akselerator dibandingkan SSD konvensional. Karena NAND menawarkan kepadatan lebih tinggi dan sifat nonvolatil dibandingkan DRAM, ada peluang untuk memuat lebih banyak data dalam ruang fisik yang sama.\n\nNamun, karakteristik NAND berbeda dari DRAM.\n\n- Latensi bacanya lebih panjang.\n- Proses penghapusan diperlukan sebelum penimpaan.\n- Masa pakai perlu dikelola berdasarkan jumlah penulisan.\n- Pengelolaan blok rusak, koreksi kesalahan, dan wear leveling diperlukan.\n- Lebih cocok untuk akses berurutan dalam unit besar daripada akses acak dalam unit kecil.\n\nKarena itu, sekalipun dikomersialkan, HBF kemungkinan besar akan berfungsi sebagai **lapisan berkapasitas besar antara HBM dan SSD**, bukan menggantikan HBM secara langsung. Bobot model yang berorientasi pada pembacaan, cache dengan frekuensi penggunaan ulang rendah, checkpoint, dan data pencarian dapat menjadi kandidat. Kesesuaian aktualnya bergantung pada standar antarmuka, latensi, daya tahan, controller, serta dukungan perangkat lunak inferensi.\n\n## Masalah pengemasan 3D yang diajukan GHBM dan THBM\n\nMetode menempatkan akselerator dan HBM berdampingan di dalam paket memiliki keterbatasan pada lebar koneksi dan area paket. Untuk mengatasinya, muncul konsep menumpuk logika dan memori secara vertikal guna memperpendek jalur pengkabelan.\n\n### Struktur yang menempatkan memori di atas GPU\n\nKonsep yang diperkenalkan sebagai GHBM atau HBM sumbu Z menggabungkan GPU dan HBM secara vertikal untuk mengurangi jarak perpindahan data. Koneksi vertikal yang pendek dan berjumlah banyak diharapkan memberikan bandwidth tinggi serta daya input-output yang rendah.\n\nMasalahnya adalah panas. Jika memori ditempatkan di atas GPU, panas yang dihasilkan GPU dapat melewati ruang antara memori dan perangkat pendingin. Ungkapan “memori meleleh” lebih menyerupai metafora yang menekankan masalah panas daripada penjelasan teknis. Risiko sebenarnya adalah suhu sambungan dan memori yang melampaui batas, peningkatan arus bocor, pembatasan performa, dan penurunan masa pakai.\n\n### Struktur memori di bawah dan GPU di atas\n\nTHBM, yang diketahui diusulkan oleh tim Profesor Kim Jung-ho dari KAIST, merupakan gagasan menempatkan GPU di bagian atas tumpukan HBM agar logika yang menghasilkan banyak panas berada lebih dekat dengan perangkat pendingin. Ini mungkin menguntungkan bagi pembuangan panas, tetapi tantangan berikut masih tersisa.\n\n- Stabilitas mekanis die logika yang berat dan tumpukan memori\n- Pasokan daya dan pengkabelan sinyal\n- Yield penyambungan die yang dibuat dengan proses berbeda\n- Kemungkinan mengganti dan menguji die yang rusak\n- Desain paket yang mencakup pelat pendingin\n\nDaya saing penumpukan vertikal tidak dapat dinilai hanya dari diagram konsep. Diperlukan hasil pengukuran resistansi termal, bandwidth efektif, yield, dan total biaya kepemilikan.\n\n## Apakah interkoneksi optik merupakan jalan memutar untuk menghindari ketergantungan pada memori\n\nUntuk menggunakan memori dan penyimpanan di luar GPU, data harus berpindah dalam jarak yang lebih jauh. Semakin jauh jarak dan semakin tinggi kecepatan transmisi sinyal listrik, semakin banyak daya yang diperlukan untuk koreksi sinyal dan transmisi ulang. Interkoneksi optik mendapat perhatian sebagai kandidat untuk meningkatkan kepadatan bandwidth dan daya transmisi pada koneksi berkecepatan tinggi antara server, rak, dan klaster.\n\nSulit untuk menjelaskan tren NVIDIA yang memperkuat jaringan optik hanya sebagai strategi untuk menghindari ketergantungan pada perusahaan memori tertentu. Latar belakang yang lebih langsung adalah jaringan menjadi bottleneck bagi keseluruhan sistem AI karena skala akselerator berkembang melampaui satu server hingga tingkat rak dan pusat data.\n\nKoneksi optik juga tidak menggantikan HBM. HBM kemungkinan akan menangani kebutuhan latensi singkat di dekat akselerator, sedangkan koneksi optik berperan menghubungkan memory pool yang lebih jauh dan sejumlah akselerator.\n\n## Bagaimana HBM khusus mengubah industri memori\n\nDRAM serbaguna konvensional cenderung memasok produk dengan spesifikasi yang sama kepada banyak pelanggan. Karena HBM mengharuskan penyesuaian bersama pada paket GPU, interposer, base die, serta desain daya dan panas, porsi perancangan bersama antara pelanggan dan perusahaan memori menjadi lebih besar.\n\nDalam HBM khusus atau CHBM, fungsi berikut dapat dimasukkan ke dalam base die.\n\n- Optimalisasi kontrol memori dan antarmuka\n- Koreksi kesalahan dan pengelolaan keandalan\n- Kompresi data dan kontrol perpindahan\n- Fungsi keamanan atau virtualisasi\n- Prapemrosesan dan komputasi data secara terbatas\n\nStruktur ini dapat mengangkat pemasok memori dari sekadar produsen komponen menjadi mitra perancang sistem. Karena volume dan spesifikasi dibahas pada tahap awal pengembangan, efek kontrak jangka panjang dan penguncian pelanggan juga dapat meningkat.\n\nNamun, kustomisasi tidak sepenuhnya menghilangkan siklus memori. Kecepatan investasi AI, konsentrasi pelanggan, kapasitas produksi pengemasan, yield, dan harga DRAM serbaguna masih dapat menimbulkan fluktuasi kinerja bisnis. Produk yang dioptimalkan untuk pelanggan tertentu juga berisiko sulit dijual kepada pelanggan lain ketika permintaan berubah.\n\n## Apakah penafsiran bahwa perkembangan GPU telah berhenti itu akurat\n\nSulit untuk menyimpulkan bahwa perkembangan GPU pada dasarnya telah berhenti. Akselerator terus berkembang ke arah yang mencakup format komputasi presisi rendah, pemrosesan sparsitas, mesin khusus transformer, chiplet, jaringan, dan pendinginan.\n\nYang berubah adalah kriteria evaluasinya. Dibandingkan performa komputasi maksimum satu chip, indikator berikut menjadi lebih penting.\n\n- Bandwidth memori efektif yang dicapai pada model aktual\n- Latensi token pertama per pengguna dan kecepatan pembuatan token\n- Jumlah token yang diproses per watt\n- Kapasitas memori dan bandwidth jaringan per rak\n- Total biaya untuk melayani model\n\nPenyebaran model open-source juga tidak berarti seluruh kemampuan model telah menjadi setara. Namun, karena sejumlah penyedia dapat memanfaatkan model yang serupa, memang benar bahwa efisiensi operasional perangkat keras dan kemampuan penerapan layanan menjadi semakin penting.\n\n## Variabel yang mudah terlewatkan: keandalan, keamanan, dan model pemrograman\n\nPembahasan memori generasi berikutnya berfokus pada bandwidth dan kapasitas, tetapi terdapat faktor lain yang menentukan komersialisasi aktual.\n\n### Akurasi dan masa pakai data\n\nKetika penumpukan dan kepadatan memori meningkat, masalah panas, tingkat kesalahan, dan masa pakai menjadi semakin penting. Dalam inferensi AI, kerusakan data senyap dapat muncul sebagai output yang salah, bukan penghentian sistem secara langsung. Koreksi kesalahan, pemeriksaan integritas data, dan isolasi kegagalan sama pentingnya dengan performa.\n\n### Keamanan memori bersama\n\nJika memory pool CXL atau cache eksternal digunakan bersama oleh sejumlah akselerator dan pelanggan, diperlukan isolasi data, enkripsi, hak akses, serta penghapusan data residu. Semakin besar kapasitas memori, semakin banyak pula bobot model dan konteks pengguna yang harus dilindungi.\n\n### Apakah pengembang dapat menggunakannya\n\nMeskipun tersedia lapisan memori baru, kegunaannya akan rendah jika compiler dan mesin inferensi tidak dapat menentukan penempatan data secara otomatis. Diperlukan runtime yang mengelola tensor dan cache KV mana yang ditempatkan di HBM, HBF, memori CXL, atau SSD. Pada akhirnya, persaingan perangkat keras akan berkembang menjadi persaingan penjadwal memori dan perangkat lunak sistem.\n\n## Apakah pusat data AI merupakan pabrik memori\n\nMenyebut pusat data AI skala besar sebagai “pabrik memori” berguna sebagai metafora untuk menekankan pentingnya memori secara strategis. Alasannya, bobot model, cache KV, data pelatihan, checkpoint, dan indeks pencarian disimpan di berbagai lapisan.\n\nNamun, generalisasi bahwa persentase tertentu dari biaya pusat data selalu digunakan untuk memori dan daya tidak memiliki dasar yang cukup. Komposisi biaya berbeda-beda menurut proporsi pelatihan dan inferensi, harga listrik, depresiasi server, jaringan, pendinginan, tingkat pemanfaatan, dan efisiensi model.\n\nKesimpulan yang lebih akurat adalah sebagai berikut.\n\n\u003e Pusat data AI masa depan tidak sekadar menjadi tempat untuk memasang banyak GPU, tetapi menjadi sistem yang menempatkan data pada lapisan memori paling tepat dan memindahkannya dengan daya seminimal mungkin.\n\n## Implikasi bagi industri semikonduktor Korea\n\nKorea memiliki kemampuan manufaktur skala besar untuk HBM dan flash NAND, sehingga menempati posisi penting dalam peralihan menuju sistem yang berpusat pada memori. Namun, volume produksi memori saja sulit menjamin keunggulan jangka panjang.\n\nStrategi yang diperlukan adalah sebagai berikut.\n\n1. Mengamankan kemampuan untuk merancang HBM, HBF, dan pengemasan canggih secara terpadu.\n2. Meningkatkan porsi desain base die, IP antarmuka, dan controller memori.\n3. Mengembangkan perusahaan di bidang manajemen panas, semikonduktor daya, interkoneksi optik, dan sistem pusat data.\n4. Membangun ekosistem perangkat lunak agar compiler dan mesin inferensi dapat memanfaatkan memori buatan Korea secara efisien.\n5. Mengamankan kasus penggunaan nyata yang menghubungkan perangkat keras, model AI, dan layanan pada ponsel pintar, mobil, robot, dan peralatan rumah tangga.\n6. Mengelola risiko ketergantungan pada pelanggan tertentu atau satu rantai pasok pengemasan.\n\n“Posisi yang membuat AI sulit dibangun tanpa melalui Korea” tidak tercipta hanya dari volume produksi. Posisi industri yang sulit digantikan akan terbentuk ketika standar, aset desain, manufaktur, pengemasan, perangkat lunak, dan layanan akhir saling terhubung.\n\n## Prospek: pelapisan dan perancangan bersama, bukan penggantian\n\nDaripada melihat semikonduktor AI sepenuhnya beralih dari berpusat pada GPU menjadi berpusat pada memori, lebih tepat memandangnya sebagai proses memudarnya batas antara unit komputasi dan memori.\n\n- HBM menangani data yang harus digunakan paling cepat.\n- HBF dan memori CXL menyediakan kapasitas yang lebih besar.\n- SSD menangani penyimpanan jangka panjang dan data dingin.\n- Interkoneksi optik menurunkan biaya untuk menghubungkan sumber daya yang berjauhan.\n- Base die khusus dan PIM memindahkan sebagian komputasi lebih dekat ke data.\n- Perangkat lunak inferensi menentukan di lapisan mana setiap data akan ditempatkan.\n\nPemenang infrastruktur AI generasi berikutnya kemungkinan bukan perusahaan yang membuat satu GPU tercepat, melainkan ekosistem yang mengoptimalkan komputasi, memori, konektivitas, daya, pendinginan, dan perangkat lunak sebagai satu sistem.","content_html":"\u003cp\u003eKriteria persaingan semikonduktor AI meluas dari sekadar jumlah operasi komputasi menjadi \u003cstrong\u003eseberapa banyak data yang dapat disimpan dan dipindahkan dengan daya rendah\u003c/strong\u003e. Dalam inferensi AI skala besar, GPU terkadang harus menunggu bukan karena tidak mampu melakukan komputasi, melainkan karena bobot model dan cache KV yang diperlukan tidak dapat dipasok tepat waktu.\u003c/p\u003e\n\u003cp\u003ePerubahan ini sering digambarkan sebagai “peralihan dari berpusat pada GPU menjadi berpusat pada memori”. Namun, ini tidak berarti GPU akan menghilang atau berhenti berkembang. Lebih tepatnya, arahnya adalah merancang GPU, HBM, memori eksternal, penyimpanan, jaringan, dan perangkat lunak secara bersama-sama sebagai satu sistem pemindahan data.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#apa-itu-komputasi-berpusat-pada-memori\" class=\"anchor\" id=\"apa-itu-komputasi-berpusat-pada-memori\"\u003e\u003c/a\u003eApa itu komputasi berpusat pada memori\u003c/h2\u003e\n\u003cp\u003e\u003cstrong\u003eKomputasi berpusat pada memori adalah pendekatan yang menjadikan lokasi, bandwidth, kapasitas, dan fungsi komputasi memori sebagai titik awal perancangan sistem untuk mengurangi biaya pengangkutan data secara berulang ke unit komputasi\u003c/strong\u003e.\u003c/p\u003e\n\u003cp\u003eThroughput aritmetika chip AI telah meningkat pesat, tetapi proses mengambil data dari luar chip relatif lambat dan menggunakan banyak daya. Oleh karena itu, teknologi berikut menjadi penting secara bersamaan.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eHBM yang ditempatkan dekat GPU atau akselerator AI\u003c/li\u003e\n\u003cli\u003ePengemasan 3D yang menghubungkan memori dan logika secara vertikal\u003c/li\u003e\n\u003cli\u003eHBM khusus yang memasukkan fungsi kontrol atau sebagian fungsi komputasi ke dalam base die\u003c/li\u003e\n\u003cli\u003eEkspansi dan pooling memori menggunakan CXL\u003c/li\u003e\n\u003cli\u003eKonsep HBF yang menghubungkan flash NAND melalui antarmuka lebar\u003c/li\u003e\n\u003cli\u003eInterkoneksi optik untuk menurunkan daya transmisi antara chip dan server\u003c/li\u003e\n\u003cli\u003ePIM dan near-memory computing yang memproses data di dekat memori\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eDengan kata lain, istilah berpusat pada memori tidak merujuk pada satu produk memori tertentu. Ini adalah prinsip sistem yang menggabungkan berbagai lapisan, mulai dari memori cepat hingga perangkat penyimpanan berkapasitas besar, untuk meminimalkan perpindahan data.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#mengapa-inferensi-ai-memperbesar-bottleneck-memori\" class=\"anchor\" id=\"mengapa-inferensi-ai-memperbesar-bottleneck-memori\"\u003e\u003c/a\u003eMengapa inferensi AI memperbesar bottleneck memori\u003c/h2\u003e\n\u003ch3\u003e\n\u003ca href=\"#bobot-model-dan-cache-kv-menimbulkan-beban-yang-berbeda\" class=\"anchor\" id=\"bobot-model-dan-cache-kv-menimbulkan-beban-yang-berbeda\"\u003e\u003c/a\u003eBobot model dan cache KV menimbulkan beban yang berbeda\u003c/h3\u003e\n\u003cp\u003eMemori yang diperlukan untuk inferensi AI secara garis besar terbagi menjadi bobot model, nilai aktivasi yang dihasilkan selama eksekusi, dan cache KV. Bobot model menempati ukuran tetap meskipun tidak ada permintaan, sedangkan cache KV bertambah sesuai panjang input, panjang output, dan jumlah permintaan simultan.\u003c/p\u003e\n\u003cp\u003eModel transformer menyimpan informasi key dan value atensi pada setiap lapisan dalam cache KV agar tidak perlu menghitung token sebelumnya dari awal setiap kali. Jika disederhanakan, ukuran cache KV untuk satu permintaan sebanding dengan faktor-faktor berikut.\u003c/p\u003e\n\u003cp\u003eUkuran cache KV yang tepat harus diperiksa berdasarkan arsitektur model dan spesifikasi implementasinya.\u003c/p\u003e\n\u003cp\u003eKey dan value masing-masing disimpan dalam cache KV. Karena itu, ketika konteks menjadi lebih panjang atau jumlah pengguna yang diproses secara bersamaan bertambah, cache KV akan membesar dengan cepat. Tidak semua model menggunakan jutaan token atau mengalami peningkatan cache secara seragam hingga ratusan kali lipat, tetapi arahnya jelas bahwa inferensi teks panjang dan pekerjaan berbasis agen meningkatkan tekanan memori.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#halusinasi-dan-kapasitas-memori-bukanlah-masalah-yang-sama\" class=\"anchor\" id=\"halusinasi-dan-kapasitas-memori-bukanlah-masalah-yang-sama\"\u003e\u003c/a\u003eHalusinasi dan kapasitas memori bukanlah masalah yang sama\u003c/h3\u003e\n\u003cp\u003eKonteks yang lebih panjang dan retrieval-augmented generation dapat memberikan lebih banyak dasar informasi kepada model. Namun, menambah memori saja tidak akan menghilangkan halusinasi. Kualitas hasil pencarian, susunan prompt, kemampuan penalaran model, verifikasi sumber, dan sistem evaluasi juga diperlukan secara bersamaan.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#perangkat-lunak-juga-dapat-mengurangi-kebutuhan-memori-fisik\" class=\"anchor\" id=\"perangkat-lunak-juga-dapat-mengurangi-kebutuhan-memori-fisik\"\u003e\u003c/a\u003ePerangkat lunak juga dapat mengurangi kebutuhan memori fisik\u003c/h3\u003e\n\u003cp\u003eBottleneck cache KV tidak hanya diatasi dengan menambah perangkat keras.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eMQA dan GQA mengurangi jumlah KV head yang harus disimpan.\u003c/li\u003e\n\u003cli\u003eKuantisasi mengurangi jumlah byte pada bobot dan cache.\u003c/li\u003e\n\u003cli\u003ePagedAttention mengelola cache berdasarkan halaman untuk mengurangi fragmentasi dan pemborosan.\u003c/li\u003e\n\u003cli\u003eContinuous batching mengelompokkan beberapa permintaan secara efisien.\u003c/li\u003e\n\u003cli\u003ePrefix caching menggunakan kembali system prompt atau konteks umum yang berulang.\u003c/li\u003e\n\u003cli\u003ePenghapusan cache dan offloading berdasarkan lapisan memindahkan informasi yang kurang penting ke memori yang lebih lambat.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eKarena itu, jumlah investasi memori aktual di pusat data tidak hanya bergantung pada ukuran model, tetapi juga pada efisiensi mesin inferensi.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#hierarki-memori-pusat-data-ai\" class=\"anchor\" id=\"hierarki-memori-pusat-data-ai\"\u003e\u003c/a\u003eHierarki memori pusat data AI\u003c/h2\u003e\n\u003cp\u003eSulit bagi satu jenis memori untuk sekaligus memenuhi kebutuhan kecepatan, kapasitas, harga, dan efisiensi daya. Pusat data AI kemungkinan akan berkembang menjadi struktur hierarkis berikut.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eLapisan\u003c/th\u003e\n\u003cth\u003eTeknologi utama\u003c/th\u003e\n\u003cth\u003eKeunggulan\u003c/th\u003e\n\u003cth\u003eKeterbatasan utama\u003c/th\u003e\n\u003cth\u003ePeran yang diperkirakan\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Lapisan\"\u003eDi dalam chip\u003c/td\u003e\n\u003ctd data-label=\"Teknologi utama\"\u003eSRAM, register\u003c/td\u003e\n\u003ctd data-label=\"Keunggulan\"\u003eLatensi paling singkat\u003c/td\u003e\n\u003ctd data-label=\"Keterbatasan utama\"\u003eKapasitas sangat kecil dan biaya area tinggi\u003c/td\u003e\n\u003ctd data-label=\"Peran yang diperkirakan\"\u003eData yang segera digunakan dan nilai perantara komputasi\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Lapisan\"\u003eDi dekat akselerator\u003c/td\u003e\n\u003ctd data-label=\"Teknologi utama\"\u003eHBM\u003c/td\u003e\n\u003ctd data-label=\"Keunggulan\"\u003eBandwidth tinggi dan latensi relatif singkat\u003c/td\u003e\n\u003ctd data-label=\"Keterbatasan utama\"\u003eKeterbatasan kapasitas, biaya pengemasan, dan panas\u003c/td\u003e\n\u003ctd data-label=\"Peran yang diperkirakan\"\u003eBobot aktif, cache KV yang sering digunakan\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Lapisan\"\u003eMemori server\u003c/td\u003e\n\u003ctd data-label=\"Teknologi utama\"\u003eDDR, memori yang terhubung melalui CXL\u003c/td\u003e\n\u003ctd data-label=\"Keunggulan\"\u003eKapasitas ekspansi lebih besar daripada HBM\u003c/td\u003e\n\u003ctd data-label=\"Keterbatasan utama\"\u003eLebih jauh dari akselerator dan bandwidth lebih rendah\u003c/td\u003e\n\u003ctd data-label=\"Peran yang diperkirakan\"\u003eEkspansi cache, pelapisan model, memory pool\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Lapisan\"\u003eFlash bandwidth tinggi\u003c/td\u003e\n\u003ctd data-label=\"Teknologi utama\"\u003eKonsep HBF\u003c/td\u003e\n\u003ctd data-label=\"Keunggulan\"\u003eKepadatan tinggi berbasis NAND dan sifat nonvolatil\u003c/td\u003e\n\u003ctd data-label=\"Keterbatasan utama\"\u003eLatensi baca, usia tulis, kompleksitas kontrol\u003c/td\u003e\n\u003ctd data-label=\"Peran yang diperkirakan\"\u003eLapisan untuk bobot dan cache KV yang lebih jarang digunakan\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Lapisan\"\u003ePenyimpanan\u003c/td\u003e\n\u003ctd data-label=\"Teknologi utama\"\u003eNVMe SSD\u003c/td\u003e\n\u003ctd data-label=\"Keunggulan\"\u003eKapasitas besar dan biaya per bit rendah\u003c/td\u003e\n\u003ctd data-label=\"Keterbatasan utama\"\u003eLatensi lebih panjang daripada memori\u003c/td\u003e\n\u003ctd data-label=\"Peran yang diperkirakan\"\u003eCheckpoint, dataset, data dingin\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eIntinya bukan salah satu dari HBM dan HBF yang menang, melainkan menempatkan beberapa lapisan berdasarkan frekuensi penggunaan data.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#persaingan-memori-generasi-berikutnya-yang-ditunjukkan-fms-2026\" class=\"anchor\" id=\"persaingan-memori-generasi-berikutnya-yang-ditunjukkan-fms-2026\"\u003e\u003c/a\u003ePersaingan memori generasi berikutnya yang ditunjukkan FMS 2026\u003c/h2\u003e\n\u003cp\u003eFMS yang diselenggarakan di Santa Clara, Amerika Serikat, pada Agustus 2026 menjadikan struktur memori dan penyimpanan AI setelah HBM sebagai agenda utama. Pembahasan berfokus pada penumpukan yang lebih tinggi, lapisan berkapasitas besar berbasis NAND, memori khusus, dan teknologi konektivitas pusat data.\u003c/p\u003e\n\u003cp\u003eGHBM dari Samsung Electronics serta HBF yang dibahas SK hynix bersama Google dan SanDisk diperkenalkan sebagai contoh yang menunjukkan arah tersebut. Namun, sulit untuk menyimpulkan bahwa istilah seperti GHBM, HBF, dan THBM semuanya merupakan nama generasi universal dengan spesifikasi identik yang telah ditetapkan oleh JEDEC. Teknologi pada tahap pengumuman perusahaan, konsep pengembangan bersama, dan produk komersial terstandar harus dibaca secara terpisah.\u003c/p\u003e\n\u003cp\u003eSelain itu, nama generasi yang lebih tinggi tidak selalu membuat layanan AI aktual menjadi lebih cepat. Bandwidth efektif, kapasitas memori, latensi, daya, pendinginan, yield paket, dan dukungan perangkat lunak harus dibandingkan secara bersamaan.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#keunggulan-dan-keterbatasan-kapasitas-hbm\" class=\"anchor\" id=\"keunggulan-dan-keterbatasan-kapasitas-hbm\"\u003e\u003c/a\u003eKeunggulan dan keterbatasan kapasitas HBM\u003c/h2\u003e\n\u003cp\u003eHBM menumpuk beberapa die DRAM secara vertikal dan menghubungkannya melalui through-silicon via serta antarmuka lebar. Keunggulan utamanya adalah dapat memasok banyak data secara paralel dari lokasi yang dekat dengan akselerator dibandingkan memori berbentuk papan konvensional.\u003c/p\u003e\n\u003cp\u003eNamun, kapasitas HBM sulit ditingkatkan tanpa batas.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003eKetika jumlah lapisan meningkat, tingkat kesulitan yield produksi dan pengujian juga bertambah.\u003c/li\u003e\n\u003cli\u003eArea paket untuk menempatkan GPU dan HBM bersama-sama menjadi lebih besar.\u003c/li\u003e\n\u003cli\u003ePanas yang dihasilkan akselerator dan memori harus dibuang dari ruang yang sempit.\u003c/li\u003e\n\u003cli\u003eJaringan pasokan daya dan pengkabelan interposer juga menjadi lebih kompleks.\u003c/li\u003e\n\u003cli\u003ePenggunaan HBM yang mahal untuk menyimpan data dengan frekuensi penggunaan rendah mengurangi kelayakan ekonominya.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003eKarena itu, pelapisan menjadi penting, dengan HBM menangani data yang paling sering digunakan dan sisanya dialihkan ke memori CXL, flash, atau SSD.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#apakah-hbf-dapat-menggantikan-hbm\" class=\"anchor\" id=\"apakah-hbf-dapat-menggantikan-hbm\"\u003e\u003c/a\u003eApakah HBF dapat menggantikan HBM\u003c/h2\u003e\n\u003cp\u003eHBF adalah singkatan dari High Bandwidth Flash, yaitu konsep untuk memparalelkan dan menumpuk flash NAND guna menciptakan lapisan memori bandwidth tinggi yang lebih dekat ke akselerator dibandingkan SSD konvensional. Karena NAND menawarkan kepadatan lebih tinggi dan sifat nonvolatil dibandingkan DRAM, ada peluang untuk memuat lebih banyak data dalam ruang fisik yang sama.\u003c/p\u003e\n\u003cp\u003eNamun, karakteristik NAND berbeda dari DRAM.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eLatensi bacanya lebih panjang.\u003c/li\u003e\n\u003cli\u003eProses penghapusan diperlukan sebelum penimpaan.\u003c/li\u003e\n\u003cli\u003eMasa pakai perlu dikelola berdasarkan jumlah penulisan.\u003c/li\u003e\n\u003cli\u003ePengelolaan blok rusak, koreksi kesalahan, dan wear leveling diperlukan.\u003c/li\u003e\n\u003cli\u003eLebih cocok untuk akses berurutan dalam unit besar daripada akses acak dalam unit kecil.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eKarena itu, sekalipun dikomersialkan, HBF kemungkinan besar akan berfungsi sebagai \u003cstrong\u003elapisan berkapasitas besar antara HBM dan SSD\u003c/strong\u003e, bukan menggantikan HBM secara langsung. Bobot model yang berorientasi pada pembacaan, cache dengan frekuensi penggunaan ulang rendah, checkpoint, dan data pencarian dapat menjadi kandidat. Kesesuaian aktualnya bergantung pada standar antarmuka, latensi, daya tahan, controller, serta dukungan perangkat lunak inferensi.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#masalah-pengemasan-3d-yang-diajukan-ghbm-dan-thbm\" class=\"anchor\" id=\"masalah-pengemasan-3d-yang-diajukan-ghbm-dan-thbm\"\u003e\u003c/a\u003eMasalah pengemasan 3D yang diajukan GHBM dan THBM\u003c/h2\u003e\n\u003cp\u003eMetode menempatkan akselerator dan HBM berdampingan di dalam paket memiliki keterbatasan pada lebar koneksi dan area paket. Untuk mengatasinya, muncul konsep menumpuk logika dan memori secara vertikal guna memperpendek jalur pengkabelan.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#struktur-yang-menempatkan-memori-di-atas-gpu\" class=\"anchor\" id=\"struktur-yang-menempatkan-memori-di-atas-gpu\"\u003e\u003c/a\u003eStruktur yang menempatkan memori di atas GPU\u003c/h3\u003e\n\u003cp\u003eKonsep yang diperkenalkan sebagai GHBM atau HBM sumbu Z menggabungkan GPU dan HBM secara vertikal untuk mengurangi jarak perpindahan data. Koneksi vertikal yang pendek dan berjumlah banyak diharapkan memberikan bandwidth tinggi serta daya input-output yang rendah.\u003c/p\u003e\n\u003cp\u003eMasalahnya adalah panas. Jika memori ditempatkan di atas GPU, panas yang dihasilkan GPU dapat melewati ruang antara memori dan perangkat pendingin. Ungkapan “memori meleleh” lebih menyerupai metafora yang menekankan masalah panas daripada penjelasan teknis. Risiko sebenarnya adalah suhu sambungan dan memori yang melampaui batas, peningkatan arus bocor, pembatasan performa, dan penurunan masa pakai.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#struktur-memori-di-bawah-dan-gpu-di-atas\" class=\"anchor\" id=\"struktur-memori-di-bawah-dan-gpu-di-atas\"\u003e\u003c/a\u003eStruktur memori di bawah dan GPU di atas\u003c/h3\u003e\n\u003cp\u003eTHBM, yang diketahui diusulkan oleh tim Profesor Kim Jung-ho dari KAIST, merupakan gagasan menempatkan GPU di bagian atas tumpukan HBM agar logika yang menghasilkan banyak panas berada lebih dekat dengan perangkat pendingin. Ini mungkin menguntungkan bagi pembuangan panas, tetapi tantangan berikut masih tersisa.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eStabilitas mekanis die logika yang berat dan tumpukan memori\u003c/li\u003e\n\u003cli\u003ePasokan daya dan pengkabelan sinyal\u003c/li\u003e\n\u003cli\u003eYield penyambungan die yang dibuat dengan proses berbeda\u003c/li\u003e\n\u003cli\u003eKemungkinan mengganti dan menguji die yang rusak\u003c/li\u003e\n\u003cli\u003eDesain paket yang mencakup pelat pendingin\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eDaya saing penumpukan vertikal tidak dapat dinilai hanya dari diagram konsep. Diperlukan hasil pengukuran resistansi termal, bandwidth efektif, yield, dan total biaya kepemilikan.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#apakah-interkoneksi-optik-merupakan-jalan-memutar-untuk-menghindari-ketergantungan-pada-memori\" class=\"anchor\" id=\"apakah-interkoneksi-optik-merupakan-jalan-memutar-untuk-menghindari-ketergantungan-pada-memori\"\u003e\u003c/a\u003eApakah interkoneksi optik merupakan jalan memutar untuk menghindari ketergantungan pada memori\u003c/h2\u003e\n\u003cp\u003eUntuk menggunakan memori dan penyimpanan di luar GPU, data harus berpindah dalam jarak yang lebih jauh. Semakin jauh jarak dan semakin tinggi kecepatan transmisi sinyal listrik, semakin banyak daya yang diperlukan untuk koreksi sinyal dan transmisi ulang. Interkoneksi optik mendapat perhatian sebagai kandidat untuk meningkatkan kepadatan bandwidth dan daya transmisi pada koneksi berkecepatan tinggi antara server, rak, dan klaster.\u003c/p\u003e\n\u003cp\u003eSulit untuk menjelaskan tren NVIDIA yang memperkuat jaringan optik hanya sebagai strategi untuk menghindari ketergantungan pada perusahaan memori tertentu. Latar belakang yang lebih langsung adalah jaringan menjadi bottleneck bagi keseluruhan sistem AI karena skala akselerator berkembang melampaui satu server hingga tingkat rak dan pusat data.\u003c/p\u003e\n\u003cp\u003eKoneksi optik juga tidak menggantikan HBM. HBM kemungkinan akan menangani kebutuhan latensi singkat di dekat akselerator, sedangkan koneksi optik berperan menghubungkan memory pool yang lebih jauh dan sejumlah akselerator.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#bagaimana-hbm-khusus-mengubah-industri-memori\" class=\"anchor\" id=\"bagaimana-hbm-khusus-mengubah-industri-memori\"\u003e\u003c/a\u003eBagaimana HBM khusus mengubah industri memori\u003c/h2\u003e\n\u003cp\u003eDRAM serbaguna konvensional cenderung memasok produk dengan spesifikasi yang sama kepada banyak pelanggan. Karena HBM mengharuskan penyesuaian bersama pada paket GPU, interposer, base die, serta desain daya dan panas, porsi perancangan bersama antara pelanggan dan perusahaan memori menjadi lebih besar.\u003c/p\u003e\n\u003cp\u003eDalam HBM khusus atau CHBM, fungsi berikut dapat dimasukkan ke dalam base die.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eOptimalisasi kontrol memori dan antarmuka\u003c/li\u003e\n\u003cli\u003eKoreksi kesalahan dan pengelolaan keandalan\u003c/li\u003e\n\u003cli\u003eKompresi data dan kontrol perpindahan\u003c/li\u003e\n\u003cli\u003eFungsi keamanan atau virtualisasi\u003c/li\u003e\n\u003cli\u003ePrapemrosesan dan komputasi data secara terbatas\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eStruktur ini dapat mengangkat pemasok memori dari sekadar produsen komponen menjadi mitra perancang sistem. Karena volume dan spesifikasi dibahas pada tahap awal pengembangan, efek kontrak jangka panjang dan penguncian pelanggan juga dapat meningkat.\u003c/p\u003e\n\u003cp\u003eNamun, kustomisasi tidak sepenuhnya menghilangkan siklus memori. Kecepatan investasi AI, konsentrasi pelanggan, kapasitas produksi pengemasan, yield, dan harga DRAM serbaguna masih dapat menimbulkan fluktuasi kinerja bisnis. Produk yang dioptimalkan untuk pelanggan tertentu juga berisiko sulit dijual kepada pelanggan lain ketika permintaan berubah.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#apakah-penafsiran-bahwa-perkembangan-gpu-telah-berhenti-itu-akurat\" class=\"anchor\" id=\"apakah-penafsiran-bahwa-perkembangan-gpu-telah-berhenti-itu-akurat\"\u003e\u003c/a\u003eApakah penafsiran bahwa perkembangan GPU telah berhenti itu akurat\u003c/h2\u003e\n\u003cp\u003eSulit untuk menyimpulkan bahwa perkembangan GPU pada dasarnya telah berhenti. Akselerator terus berkembang ke arah yang mencakup format komputasi presisi rendah, pemrosesan sparsitas, mesin khusus transformer, chiplet, jaringan, dan pendinginan.\u003c/p\u003e\n\u003cp\u003eYang berubah adalah kriteria evaluasinya. Dibandingkan performa komputasi maksimum satu chip, indikator berikut menjadi lebih penting.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eBandwidth memori efektif yang dicapai pada model aktual\u003c/li\u003e\n\u003cli\u003eLatensi token pertama per pengguna dan kecepatan pembuatan token\u003c/li\u003e\n\u003cli\u003eJumlah token yang diproses per watt\u003c/li\u003e\n\u003cli\u003eKapasitas memori dan bandwidth jaringan per rak\u003c/li\u003e\n\u003cli\u003eTotal biaya untuk melayani model\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003ePenyebaran model open-source juga tidak berarti seluruh kemampuan model telah menjadi setara. Namun, karena sejumlah penyedia dapat memanfaatkan model yang serupa, memang benar bahwa efisiensi operasional perangkat keras dan kemampuan penerapan layanan menjadi semakin penting.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#variabel-yang-mudah-terlewatkan-keandalan-keamanan-dan-model-pemrograman\" class=\"anchor\" id=\"variabel-yang-mudah-terlewatkan-keandalan-keamanan-dan-model-pemrograman\"\u003e\u003c/a\u003eVariabel yang mudah terlewatkan: keandalan, keamanan, dan model pemrograman\u003c/h2\u003e\n\u003cp\u003ePembahasan memori generasi berikutnya berfokus pada bandwidth dan kapasitas, tetapi terdapat faktor lain yang menentukan komersialisasi aktual.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#akurasi-dan-masa-pakai-data\" class=\"anchor\" id=\"akurasi-dan-masa-pakai-data\"\u003e\u003c/a\u003eAkurasi dan masa pakai data\u003c/h3\u003e\n\u003cp\u003eKetika penumpukan dan kepadatan memori meningkat, masalah panas, tingkat kesalahan, dan masa pakai menjadi semakin penting. Dalam inferensi AI, kerusakan data senyap dapat muncul sebagai output yang salah, bukan penghentian sistem secara langsung. Koreksi kesalahan, pemeriksaan integritas data, dan isolasi kegagalan sama pentingnya dengan performa.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#keamanan-memori-bersama\" class=\"anchor\" id=\"keamanan-memori-bersama\"\u003e\u003c/a\u003eKeamanan memori bersama\u003c/h3\u003e\n\u003cp\u003eJika memory pool CXL atau cache eksternal digunakan bersama oleh sejumlah akselerator dan pelanggan, diperlukan isolasi data, enkripsi, hak akses, serta penghapusan data residu. Semakin besar kapasitas memori, semakin banyak pula bobot model dan konteks pengguna yang harus dilindungi.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#apakah-pengembang-dapat-menggunakannya\" class=\"anchor\" id=\"apakah-pengembang-dapat-menggunakannya\"\u003e\u003c/a\u003eApakah pengembang dapat menggunakannya\u003c/h3\u003e\n\u003cp\u003eMeskipun tersedia lapisan memori baru, kegunaannya akan rendah jika compiler dan mesin inferensi tidak dapat menentukan penempatan data secara otomatis. Diperlukan runtime yang mengelola tensor dan cache KV mana yang ditempatkan di HBM, HBF, memori CXL, atau SSD. Pada akhirnya, persaingan perangkat keras akan berkembang menjadi persaingan penjadwal memori dan perangkat lunak sistem.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#apakah-pusat-data-ai-merupakan-pabrik-memori\" class=\"anchor\" id=\"apakah-pusat-data-ai-merupakan-pabrik-memori\"\u003e\u003c/a\u003eApakah pusat data AI merupakan pabrik memori\u003c/h2\u003e\n\u003cp\u003eMenyebut pusat data AI skala besar sebagai “pabrik memori” berguna sebagai metafora untuk menekankan pentingnya memori secara strategis. Alasannya, bobot model, cache KV, data pelatihan, checkpoint, dan indeks pencarian disimpan di berbagai lapisan.\u003c/p\u003e\n\u003cp\u003eNamun, generalisasi bahwa persentase tertentu dari biaya pusat data selalu digunakan untuk memori dan daya tidak memiliki dasar yang cukup. Komposisi biaya berbeda-beda menurut proporsi pelatihan dan inferensi, harga listrik, depresiasi server, jaringan, pendinginan, tingkat pemanfaatan, dan efisiensi model.\u003c/p\u003e\n\u003cp\u003eKesimpulan yang lebih akurat adalah sebagai berikut.\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003ePusat data AI masa depan tidak sekadar menjadi tempat untuk memasang banyak GPU, tetapi menjadi sistem yang menempatkan data pada lapisan memori paling tepat dan memindahkannya dengan daya seminimal mungkin.\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003ch2\u003e\n\u003ca href=\"#implikasi-bagi-industri-semikonduktor-korea\" class=\"anchor\" id=\"implikasi-bagi-industri-semikonduktor-korea\"\u003e\u003c/a\u003eImplikasi bagi industri semikonduktor Korea\u003c/h2\u003e\n\u003cp\u003eKorea memiliki kemampuan manufaktur skala besar untuk HBM dan flash NAND, sehingga menempati posisi penting dalam peralihan menuju sistem yang berpusat pada memori. Namun, volume produksi memori saja sulit menjamin keunggulan jangka panjang.\u003c/p\u003e\n\u003cp\u003eStrategi yang diperlukan adalah sebagai berikut.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003eMengamankan kemampuan untuk merancang HBM, HBF, dan pengemasan canggih secara terpadu.\u003c/li\u003e\n\u003cli\u003eMeningkatkan porsi desain base die, IP antarmuka, dan controller memori.\u003c/li\u003e\n\u003cli\u003eMengembangkan perusahaan di bidang manajemen panas, semikonduktor daya, interkoneksi optik, dan sistem pusat data.\u003c/li\u003e\n\u003cli\u003eMembangun ekosistem perangkat lunak agar compiler dan mesin inferensi dapat memanfaatkan memori buatan Korea secara efisien.\u003c/li\u003e\n\u003cli\u003eMengamankan kasus penggunaan nyata yang menghubungkan perangkat keras, model AI, dan layanan pada ponsel pintar, mobil, robot, dan peralatan rumah tangga.\u003c/li\u003e\n\u003cli\u003eMengelola risiko ketergantungan pada pelanggan tertentu atau satu rantai pasok pengemasan.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003e“Posisi yang membuat AI sulit dibangun tanpa melalui Korea” tidak tercipta hanya dari volume produksi. Posisi industri yang sulit digantikan akan terbentuk ketika standar, aset desain, manufaktur, pengemasan, perangkat lunak, dan layanan akhir saling terhubung.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#prospek-pelapisan-dan-perancangan-bersama-bukan-penggantian\" class=\"anchor\" id=\"prospek-pelapisan-dan-perancangan-bersama-bukan-penggantian\"\u003e\u003c/a\u003eProspek: pelapisan dan perancangan bersama, bukan penggantian\u003c/h2\u003e\n\u003cp\u003eDaripada melihat semikonduktor AI sepenuhnya beralih dari berpusat pada GPU menjadi berpusat pada memori, lebih tepat memandangnya sebagai proses memudarnya batas antara unit komputasi dan memori.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eHBM menangani data yang harus digunakan paling cepat.\u003c/li\u003e\n\u003cli\u003eHBF dan memori CXL menyediakan kapasitas yang lebih besar.\u003c/li\u003e\n\u003cli\u003eSSD menangani penyimpanan jangka panjang dan data dingin.\u003c/li\u003e\n\u003cli\u003eInterkoneksi optik menurunkan biaya untuk menghubungkan sumber daya yang berjauhan.\u003c/li\u003e\n\u003cli\u003eBase die khusus dan PIM memindahkan sebagian komputasi lebih dekat ke data.\u003c/li\u003e\n\u003cli\u003ePerangkat lunak inferensi menentukan di lapisan mana setiap data akan ditempatkan.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003ePemenang infrastruktur AI generasi berikutnya kemungkinan bukan perusahaan yang membuat satu GPU tercepat, melainkan ekosistem yang mengoptimalkan komputasi, memori, konektivitas, daya, pendinginan, dan perangkat lunak sebagai satu sistem.\u003c/p\u003e\n","tags":["Semikonduktor","Pusat data AI","SK hynix","Chip AI","HBM"],"faqs":[{"question":"Apakah komputasi berpusat pada memori berarti menggantikan GPU dengan memori?","answer":"Tidak. GPU dan akselerator lainnya tetap menangani komputasi. Komputasi berpusat pada memori adalah pendekatan yang merancang akselerator, HBM, memori eksternal, penyimpanan, dan jaringan secara terpadu untuk mengurangi waktu serta daya yang diperlukan dalam pemindahan data."},{"question":"Mengapa cache KV membesar pada konteks yang panjang?","answer":"Transformer menyimpan informasi key dan value dari token sebelumnya untuk setiap lapisan agar tidak mengulangi komputasi yang sama. Jumlah penyimpanan umumnya sebanding dengan jumlah token, jumlah lapisan, jumlah head KV, dan ukuran format data, sehingga konteks yang panjang serta banyak permintaan secara bersamaan meningkatkan penggunaan memori."},{"question":"Apakah HBF selalu lebih baik jika kapasitasnya lebih besar daripada HBM?","answer":"Tidak. HBF berbasis NAND memiliki keunggulan berupa kepadatan tinggi dan nonvolatilitas, tetapi latensinya lebih tinggi daripada HBM berbasis DRAM, serta pengelolaan umur tulis dan galatnya lebih rumit. Konfigurasi berjenjang yang menempatkan data yang sering digunakan di HBM dan data yang jarang digunakan di HBF lebih realistis."},{"question":"Apa perbedaan antara HBF dan SSD NVMe biasa?","answer":"HBF adalah konsep yang bertujuan menyediakan bandwidth lebih tinggi daripada SSD konvensional dengan menghubungkan NAND flash lebih dekat ke akselerator melalui antarmuka yang lebih lebar dan paralel. Performa dan metode koneksi spesifik dapat berbeda bergantung pada produk dan hasil standardisasi."},{"question":"Apa keunggulan menumpuk GPU dan HBM secara vertikal?","answer":"Jarak koneksi menjadi lebih pendek dan banyak jalur vertikal dapat digunakan, sehingga berpotensi menguntungkan dari segi bandwidth dan daya I/O. Di sisi lain, masalah kepadatan panas, pasokan daya, tingkat keberhasilan penyambungan, pengujian, dan pendinginan menjadi lebih sulit."},{"question":"Dapatkah interkoneksi optik menggantikan HBM?","answer":"Interkoneksi optik cocok untuk menghubungkan banyak akselerator atau sumber daya memori dalam jarak jauh, tetapi tidak dapat sepenuhnya menggantikan latensi rendah HBM yang berada tepat di sebelah akselerator. Kedua teknologi tersebut kemungkinan besar akan menangani jarak dan tingkatan memori yang berbeda."},{"question":"Dapatkah HBM khusus menghilangkan siklus harga memori?","answer":"Desain khusus dan kontrak pasokan jangka panjang dapat meningkatkan stabilitas harga dan hubungan dengan pelanggan dibandingkan memori serbaguna. Namun, pengaruh fluktuasi investasi AI, kapasitas produksi, tingkat hasil produksi, konsentrasi pelanggan, dan harga DRAM serbaguna tidak akan sepenuhnya hilang."},{"question":"Apakah halusinasi AI akan hilang jika konteks panjang didukung?","answer":"Tidak. Konteks panjang dapat menyediakan lebih banyak dasar informasi, tetapi jawaban yang salah masih dapat dihasilkan jika kualitas materi hasil pencarian, kemampuan model, penyusunan instruksi, dan verifikasi sumber tidak memadai. Penambahan kapasitas memori hanyalah salah satu cara untuk mengurangi halusinasi."},{"question":"Apakah GHBM, HBF, dan THBM sudah menjadi standar industri yang ditetapkan?","answer":"Semua istilah tersebut tidak boleh dianggap sebagai standar yang telah ditetapkan pada tingkat yang sama. Sebagian mungkin merupakan nama yang masih berada pada tahap pengumuman perusahaan atau usulan penelitian, sehingga spesifikasi dari organisasi standardisasi seperti JEDEC, spesifikasi akhir produsen, dan status produksi massal aktual perlu diperiksa secara terpisah."}],"sources":[{"url":"https://futurememorystorage.com/","title":"FMS: Masa Depan Memori dan Penyimpanan","type":"source"},{"url":"https://arxiv.org/abs/2309.06180","title":"Manajemen Memori yang Efisien untuk Penyajian Model Bahasa Besar dengan PagedAttention","type":"source"},{"url":"https://arxiv.org/abs/2205.14135","title":"FlashAttention: Attention Eksak yang Cepat dan Hemat Memori dengan Kesadaran IO","type":"source"},{"url":"https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/","title":"Menguasai Teknik LLM: Optimalisasi Inferensi","type":"source"},{"url":"https://www.cxlconsortium.org/","title":"Konsorsium Compute Express Link","type":"source"},{"url":"https://www.uciexpress.org/","title":"Konsorsium UCIe","type":"source"}],"images":[{"id":716,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAxOCwicHVyIjoiYmxvYl9pZCJ9fQ==--5e9ff3355e5af64800fe3a3753eb07a1847f7fba/ai-db43622c.webp","is_representative":true,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"중앙 AI 칩과 RAM 모듈, 적층 메모리, 서버, 저장장치가 데이터 경로로 연결된 개념도","caption":"AI 반도체를 중심으로 메모리와 서버, 저장장치 사이의 데이터 흐름을 시각화했다.","description":null},"en":{"alt":"Central AI chip linked by data paths to RAM, stacked memory, servers, and storage","caption":"The illustration visualizes data flowing between an AI chip, memory, servers, and storage.","description":null},"ja":{"alt":"中央のAIチップとRAM、積層メモリ、サーバー、ストレージをデータ経路で結んだ概念図","caption":"AIチップを中心に、メモリやサーバー、ストレージ間のデータの流れを示している。","description":null},"es":{"alt":"Chip de IA central conectado por rutas de datos a RAM, memoria apilada, servidores y almacenamiento","caption":"La ilustración muestra el flujo de datos entre un chip de IA, la memoria, los servidores y el almacenamiento.","description":null},"id":{"alt":"Chip AI pusat terhubung melalui jalur data ke RAM, memori bertumpuk, server, dan penyimpanan","caption":"Ilustrasi ini memvisualisasikan aliran data antara chip AI, memori, server, dan penyimpanan.","description":null},"pt":{"alt":"Chip de IA central ligado por fluxos de dados à RAM, memória empilhada, servidores e armazenamento","caption":"A ilustração mostra o fluxo de dados entre um chip de IA, a memória, os servidores e o armazenamento.","description":null},"zh-hant":{"alt":"中央AI晶片透過資料路徑連接RAM、堆疊記憶體、伺服器與儲存裝置","caption":"插圖呈現AI晶片與記憶體、伺服器及儲存裝置之間的資料流動。","description":null},"de":{"alt":"Zentraler KI-Chip, über Datenpfade mit RAM, Stapelspeicher, Servern und Speichern verbunden","caption":"Die Illustration zeigt den Datenfluss zwischen einem KI-Chip, Speicher, Servern und Datenspeichern.","description":null}}},{"id":717,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAyNCwicHVyIjoiYmxvYl9pZCJ9fQ==--0b4dbc6fd04a7a2893bbf9865c8b7e32463f6e20/ai-29d9b4a3.webp","is_representative":false,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"적층 메모리와 프로세서, 서버를 고속 링크로 연결한 AI 반도체 구조 일러스트","caption":"적층 메모리와 서버 간 데이터 흐름을 중심으로 AI 반도체 구조를 표현했다.","description":null},"en":{"alt":"Exploded AI chip with stacked memory, processor layers, server racks, and glowing data links","caption":"The illustration highlights data flow between stacked memory, processors, and servers.","description":null},"ja":{"alt":"積層メモリとプロセッサ、サーバーを高速リンクで結ぶAI半導体の構造図","caption":"積層メモリとサーバー間のデータフローを中心にAI半導体の構造を表している。","description":null},"es":{"alt":"Chip de IA por capas con memoria apilada, procesadores, servidores y enlaces de datos luminosos","caption":"La ilustración destaca el flujo de datos entre la memoria apilada, los procesadores y los servidores.","description":null},"id":{"alt":"Chip AI berlapis dengan memori bertumpuk, prosesor, rak server, dan jalur data bercahaya","caption":"Ilustrasi ini menyoroti aliran data antara memori bertumpuk, prosesor, dan server.","description":null},"pt":{"alt":"Chip de IA em camadas com memória empilhada, processadores, servidores e conexões luminosas","caption":"A ilustração destaca o fluxo de dados entre memória empilhada, processadores e servidores.","description":null},"zh-hant":{"alt":"分層AI晶片結合堆疊記憶體、處理器、伺服器機櫃與發光資料連線","caption":"此圖呈現堆疊記憶體、處理器與伺服器之間的資料流動。","description":null},"de":{"alt":"Mehrschichtiger KI-Chip mit gestapeltem Speicher, Prozessoren, Serverracks und leuchtenden Datenleitungen","caption":"Die Illustration zeigt den Datenfluss zwischen gestapeltem Speicher, Prozessoren und Servern.","description":null}}}],"published_at":"2026-08-17T21:47:47+09:00","updated_at":"2026-08-17T21:47:47+09:00","license":"cc_by","translation_status":"reviewed","available_locales":["ko","en","ja","es"],"data_locales":["ko","en","ja","es","id","pt","zh-hant","de"],"url":"https://injoys.com/en/articles/memory-centric-ai-chips-hbm-hbf-packaging"}