{"content_id":"favc2qgfc3","slug":"turboquant-kv-cache-compression-hbm-demand","locale":"id","schema_type":"Article","category":"trends","category_name":"Tren","title":"TurboQuant: Kompresi Cache KV 6 Kali dan Permintaan HBM","summary":"Dalam percobaan mencari informasi di teks panjang, Google mengurangi ukuran cache KV menjadi paling banyak 1/6 dari ukuran semula. Dampaknya terhadap permintaan pembelian HBM bergantung pada porsi memori yang sebelumnya digunakan cache dan seberapa banyak tambahan permintaan yang bisa diproses secara bersamaan setelah kompresi.","sponsorship_disclosure":null,"affiliate_disclosure":null,"commerce_disclosure":null,"author":{"name":"injoys","url":"https://injoys.com/ko/about"},"key_points":["Angka kompresi setidaknya 6 kali yang diumumkan Google pada Maret 2026 berasal dari pengukuran cache KV yang digunakan model bahasa saat menghasilkan jawaban.","Jika ukuran cache dikurangi menjadi tepat 1/6 dari ukuran semula, 6 permintaan dengan panjang yang sama akan memakai ruang cache sebanyak yang dipakai 1 permintaan sebelum kompresi.","Pada 26 Maret 2026, saham Samsung Electronics turun 4.71% dan saham SK hynix turun 6.23% dibandingkan dengan hari perdagangan sebelumnya.","Untuk mengetahui perubahan permintaan HBM, jumlah permintaan yang dapat diproses layanan secara bersamaan perlu dilihat bersama volume pasokan aktual dari produsen memori."],"content_markdown":"Dalam eksperimen, TurboQuant dari Google memperkecil KV cache yang digunakan untuk menghasilkan jawaban AI menjadi **paling banyak seperenam dari ukuran semula**. Memori yang dibutuhkan untuk satu permintaan pun berkurang. Total permintaan untuk memori berpita lebar (HBM) bergantung pada seberapa banyak jumlah permintaan yang diproses secara bersamaan bertambah.\n\nAngka kompresi diambil dari pengumuman Google Research pada 24 Maret 2026, sedangkan harga saham mengacu pada harga penutupan 26 Maret.\n\n## Apa itu KV cache yang dikompresi TurboQuant?\n\nKV cache adalah ruang penyimpanan sementara yang digunakan model bahasa untuk merujuk kembali pada konteks sebelumnya. Model memproses teks dengan membaginya menjadi unit yang disebut token. Dengan menyimpan kunci dan nilai (KV) yang dihitung untuk setiap token, model tidak perlu mengulangi perhitungan itu saat menghasilkan token berikutnya.\n\nSemakin panjang percakapan, semakin banyak kunci dan nilai yang perlu disimpan. TurboQuant merepresentasikan angka-angka ini dengan lebih sedikit bit. Proses ini disebut kuantisasi. Bobot yang diperoleh model selama pelatihan tetap memakai ruang memori setelah cache dikompresi.\n\n## Apa yang diukur oleh kompresi 6 kali dan kecepatan 8 kali?\n\nDua angka yang diumumkan Google masing-masing menunjukkan ukuran ruang penyimpanan dan kecepatan perhitungan tertentu. Apa yang dibandingkan untuk kedua angka itu dapat dilihat dalam penjelasan eksperimen Google Research pada 24 Maret 2026.\n\n| Angka yang diumumkan | Kondisi eksperimen | Hasil yang diukur |\n|---|---|---|\n| Paling banyak seperenam dari kapasitas semula | Tugas mencari informasi yang disembunyikan dalam teks panjang | Ukuran KV cache setelah diperkecil tanpa menurunkan kemampuan menemukan jawaban yang benar |\n| Kecepatan hingga 8 kali lipat | Perbandingan kunci TurboQuant 4 bit dengan kunci 32 bit tanpa kompresi pada GPU H100 | Kecepatan menghitung skor yang menentukan seberapa besar bobot yang diberikan pada token sebelumnya |\n\n### Kualitas jawaban setelah kompresi\n\nSeberapa baik kualitas jawaban dapat dipertahankan juga bergantung pada jumlah bit yang dialokasikan untuk setiap angka. Menurut makalah penelitian, evaluasi menunjukkan bahwa kualitas jawaban tetap terjaga pada rata-rata 3.5 bit per kanal. Pada rata-rata 2.5 bit, kualitasnya sedikit menurun. Waktu respons dan kualitas pada layanan yang sebenarnya perlu diuji dengan pertanyaan yang diproses oleh layanan tersebut.\n\n## Contoh perhitungan permintaan serentak dan kapasitas memori\n\nJika ukuran cache diperkecil menjadi tepat seperenam, 6 permintaan dengan panjang yang sama akan memakai ruang cache sebesar 1 permintaan sebelum kompresi. Perhitungan ini memakai faktor kompresi 6 kali, yaitu batas bawah yang dilaporkan dalam eksperimen. Asumsinya, model dan panjang permintaan tetap sama, dan cache setiap permintaan disimpan secara terpisah.\n\n| Permintaan yang diproses secara bersamaan | Kapasitas total KV cache setelah kompresi |\n|---|---|\n| 1 permintaan | Seperenam dari kapasitas untuk 1 permintaan sebelum kompresi |\n| 6 permintaan | Sama dengan kapasitas untuk 1 permintaan sebelum kompresi |\n| Lebih dari 6 permintaan | Lebih besar daripada kapasitas untuk 1 permintaan sebelum kompresi |\n\nUntuk menghitung penghematan di seluruh server, perlu diketahui ukuran cache sebelum kompresi dalam satuan byte. Dalam kondisi di atas, ruang yang dihemat adalah lima perenam dari kapasitas cache semula. Semakin kecil porsi cache dalam total memori, semakin kecil pula persentase penghematan di seluruh server.\n\n## Kondisi yang membuat permintaan HBM turun atau naik\n\nPermintaan pembelian HBM bergantung pada cara operator layanan memanfaatkan ruang yang dihemat. Kapasitas HBM adalah jumlah data yang dapat disimpan sekaligus. Lebar pita adalah jumlah data yang dapat dipindahkan dalam jangka waktu tertentu. Untuk menghitung jumlah HBM yang perlu dibeli berdasarkan kapasitas cache yang diukur dalam eksperimen, perlu diketahui apakah kapasitas atau lebar pita yang membatasi penambahan server.\n\n| Kondisi operasional layanan | Kemungkinan dampak pada permintaan HBM |\n|---|---|\n| Jumlah dan panjang permintaan tetap, dan penambahan server direncanakan karena ruang cache tidak mencukupi | Ruang yang tersedia pada perangkat yang ada bisa membuat pembelian tambahan ditunda. |\n| Perangkat yang sama menerima lebih banyak permintaan secara bersamaan | Ruang yang dihemat bisa dipakai untuk cache permintaan baru. |\n| Penggunaan layanan pemrosesan dokumen panjang meningkat tajam karena biaya turun | Jika tambahan beban kerja melampaui penghematan per permintaan, total penggunaan memori bisa meningkat. |\n\nKetika efisiensi meningkat, tetapi penggunaan naik lebih besar sehingga konsumsi total sumber daya bertambah, fenomena ini disebut paradoks Jevons. Pada layanan AI, yang menentukan adalah seberapa besar penggunaan aktual meningkat setelah biaya pemrosesan turun. Untuk menilai pendapatan produsen memori, volume pengiriman dan harga jual juga perlu dilihat secara terpisah.\n\n## Latar belakang penurunan saham semikonduktor pada 26 Maret\n\nPada 26 Maret 2026, kekhawatiran akan melambatnya permintaan memori muncul bersamaan dengan ketidakpastian situasi di Timur Tengah. Bank of Korea menyebut kedua faktor itu sebagai penyebab penurunan pasar saham hari itu. Kurs won terhadap dolar menutup sesi perdagangan siang di level 1,507.0 won per dolar, naik 7.3 won dari hari sebelumnya.\n\n| Indeks atau saham | Perubahan pada 26 Maret 2026 dibandingkan hari perdagangan sebelumnya | Level penutupan indeks |\n|---|---:|---:|\n| KOSPI | -3.35% | 5,460.46 poin |\n| KOSDAQ | Kisaran -2% | 1,136.64 poin |\n| Samsung Electronics | -4.71% | Tidak berlaku |\n| SK hynix | -6.23% | Tidak berlaku |\n\nPada saat publikasi, Samsung Securities mencatat nilai jual bersih investor asing di pasar efek sebesar 3 triliun 111 miliar won. Pada hari yang sama, saham Alteogen naik 6.28% setelah perusahaan mengumumkan ekspor teknologi. Saham Hanwha Solutions turun 18.22% setelah perusahaan mengumumkan penambahan modal melalui penjualan saham baru. Perubahan harga saham dalam satu hari saja tidak cukup untuk mengetahui dampak TurboQuant terhadap pesanan yang diterima masing-masing perusahaan.\n\n## Indikator yang perlu diperiksa dalam laporan kinerja perusahaan semikonduktor\n\nUntuk menilai permintaan HBM, jumlah yang dipesan pelanggan perlu dibedakan dari jumlah yang benar-benar dipasok produsen. Dalam pengumuman kinerja pada 23 April 2026, SK hynix menyatakan bahwa penjualan produk bernilai tambah tinggi, termasuk HBM, meningkat pada kuartal pertama. Kuartal ini juga mencakup periode sebelum pengumuman TurboQuant pada Maret.\n\n- Cakupan penerapan kompresi dalam layanan dapat diketahui dengan melihat model dan pekerjaan yang dikompresi oleh operator.\n- Untuk membandingkan penghematan memori, diperlukan pengukuran penggunaan memori seluruh server pada panjang permintaan dan jumlah permintaan serentak yang sama.\n- Dalam pengumuman kinerja perusahaan, realisasi pengiriman HBM dan periode yang dicakup oleh rencana pasokan mendatang dapat diperiksa secara terpisah.","content_html":"\u003cp\u003eDalam eksperimen, TurboQuant dari Google memperkecil KV cache yang digunakan untuk menghasilkan jawaban AI menjadi \u003cstrong\u003epaling banyak seperenam dari ukuran semula\u003c/strong\u003e. Memori yang dibutuhkan untuk satu permintaan pun berkurang. Total permintaan untuk memori berpita lebar (HBM) bergantung pada seberapa banyak jumlah permintaan yang diproses secara bersamaan bertambah.\u003c/p\u003e\n\u003cp\u003eAngka kompresi diambil dari pengumuman Google Research pada 24 Maret 2026, sedangkan harga saham mengacu pada harga penutupan 26 Maret.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#apa-itu-kv-cache-yang-dikompresi-turboquant\" class=\"anchor\" id=\"apa-itu-kv-cache-yang-dikompresi-turboquant\"\u003e\u003c/a\u003eApa itu KV cache yang dikompresi TurboQuant?\u003c/h2\u003e\n\u003cp\u003eKV cache adalah ruang penyimpanan sementara yang digunakan model bahasa untuk merujuk kembali pada konteks sebelumnya. Model memproses teks dengan membaginya menjadi unit yang disebut token. Dengan menyimpan kunci dan nilai (KV) yang dihitung untuk setiap token, model tidak perlu mengulangi perhitungan itu saat menghasilkan token berikutnya.\u003c/p\u003e\n\u003cp\u003eSemakin panjang percakapan, semakin banyak kunci dan nilai yang perlu disimpan. TurboQuant merepresentasikan angka-angka ini dengan lebih sedikit bit. Proses ini disebut kuantisasi. Bobot yang diperoleh model selama pelatihan tetap memakai ruang memori setelah cache dikompresi.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#apa-yang-diukur-oleh-kompresi-6-kali-dan-kecepatan-8-kali\" class=\"anchor\" id=\"apa-yang-diukur-oleh-kompresi-6-kali-dan-kecepatan-8-kali\"\u003e\u003c/a\u003eApa yang diukur oleh kompresi 6 kali dan kecepatan 8 kali?\u003c/h2\u003e\n\u003cp\u003eDua angka yang diumumkan Google masing-masing menunjukkan ukuran ruang penyimpanan dan kecepatan perhitungan tertentu. Apa yang dibandingkan untuk kedua angka itu dapat dilihat dalam penjelasan eksperimen Google Research pada 24 Maret 2026.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eAngka yang diumumkan\u003c/th\u003e\n\u003cth\u003eKondisi eksperimen\u003c/th\u003e\n\u003cth\u003eHasil yang diukur\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Angka yang diumumkan\"\u003ePaling banyak seperenam dari kapasitas semula\u003c/td\u003e\n\u003ctd data-label=\"Kondisi eksperimen\"\u003eTugas mencari informasi yang disembunyikan dalam teks panjang\u003c/td\u003e\n\u003ctd data-label=\"Hasil yang diukur\"\u003eUkuran KV cache setelah diperkecil tanpa menurunkan kemampuan menemukan jawaban yang benar\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Angka yang diumumkan\"\u003eKecepatan hingga 8 kali lipat\u003c/td\u003e\n\u003ctd data-label=\"Kondisi eksperimen\"\u003ePerbandingan kunci TurboQuant 4 bit dengan kunci 32 bit tanpa kompresi pada GPU H100\u003c/td\u003e\n\u003ctd data-label=\"Hasil yang diukur\"\u003eKecepatan menghitung skor yang menentukan seberapa besar bobot yang diberikan pada token sebelumnya\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003ch3\u003e\n\u003ca href=\"#kualitas-jawaban-setelah-kompresi\" class=\"anchor\" id=\"kualitas-jawaban-setelah-kompresi\"\u003e\u003c/a\u003eKualitas jawaban setelah kompresi\u003c/h3\u003e\n\u003cp\u003eSeberapa baik kualitas jawaban dapat dipertahankan juga bergantung pada jumlah bit yang dialokasikan untuk setiap angka. Menurut makalah penelitian, evaluasi menunjukkan bahwa kualitas jawaban tetap terjaga pada rata-rata 3.5 bit per kanal. Pada rata-rata 2.5 bit, kualitasnya sedikit menurun. Waktu respons dan kualitas pada layanan yang sebenarnya perlu diuji dengan pertanyaan yang diproses oleh layanan tersebut.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#contoh-perhitungan-permintaan-serentak-dan-kapasitas-memori\" class=\"anchor\" id=\"contoh-perhitungan-permintaan-serentak-dan-kapasitas-memori\"\u003e\u003c/a\u003eContoh perhitungan permintaan serentak dan kapasitas memori\u003c/h2\u003e\n\u003cp\u003eJika ukuran cache diperkecil menjadi tepat seperenam, 6 permintaan dengan panjang yang sama akan memakai ruang cache sebesar 1 permintaan sebelum kompresi. Perhitungan ini memakai faktor kompresi 6 kali, yaitu batas bawah yang dilaporkan dalam eksperimen. Asumsinya, model dan panjang permintaan tetap sama, dan cache setiap permintaan disimpan secara terpisah.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003ePermintaan yang diproses secara bersamaan\u003c/th\u003e\n\u003cth\u003eKapasitas total KV cache setelah kompresi\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Permintaan yang diproses secara bersamaan\"\u003e1 permintaan\u003c/td\u003e\n\u003ctd data-label=\"Kapasitas total KV cache setelah kompresi\"\u003eSeperenam dari kapasitas untuk 1 permintaan sebelum kompresi\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Permintaan yang diproses secara bersamaan\"\u003e6 permintaan\u003c/td\u003e\n\u003ctd data-label=\"Kapasitas total KV cache setelah kompresi\"\u003eSama dengan kapasitas untuk 1 permintaan sebelum kompresi\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Permintaan yang diproses secara bersamaan\"\u003eLebih dari 6 permintaan\u003c/td\u003e\n\u003ctd data-label=\"Kapasitas total KV cache setelah kompresi\"\u003eLebih besar daripada kapasitas untuk 1 permintaan sebelum kompresi\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eUntuk menghitung penghematan di seluruh server, perlu diketahui ukuran cache sebelum kompresi dalam satuan byte. Dalam kondisi di atas, ruang yang dihemat adalah lima perenam dari kapasitas cache semula. Semakin kecil porsi cache dalam total memori, semakin kecil pula persentase penghematan di seluruh server.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#kondisi-yang-membuat-permintaan-hbm-turun-atau-naik\" class=\"anchor\" id=\"kondisi-yang-membuat-permintaan-hbm-turun-atau-naik\"\u003e\u003c/a\u003eKondisi yang membuat permintaan HBM turun atau naik\u003c/h2\u003e\n\u003cp\u003ePermintaan pembelian HBM bergantung pada cara operator layanan memanfaatkan ruang yang dihemat. Kapasitas HBM adalah jumlah data yang dapat disimpan sekaligus. Lebar pita adalah jumlah data yang dapat dipindahkan dalam jangka waktu tertentu. Untuk menghitung jumlah HBM yang perlu dibeli berdasarkan kapasitas cache yang diukur dalam eksperimen, perlu diketahui apakah kapasitas atau lebar pita yang membatasi penambahan server.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eKondisi operasional layanan\u003c/th\u003e\n\u003cth\u003eKemungkinan dampak pada permintaan HBM\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Kondisi operasional layanan\"\u003eJumlah dan panjang permintaan tetap, dan penambahan server direncanakan karena ruang cache tidak mencukupi\u003c/td\u003e\n\u003ctd data-label=\"Kemungkinan dampak pada permintaan HBM\"\u003eRuang yang tersedia pada perangkat yang ada bisa membuat pembelian tambahan ditunda.\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Kondisi operasional layanan\"\u003ePerangkat yang sama menerima lebih banyak permintaan secara bersamaan\u003c/td\u003e\n\u003ctd data-label=\"Kemungkinan dampak pada permintaan HBM\"\u003eRuang yang dihemat bisa dipakai untuk cache permintaan baru.\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Kondisi operasional layanan\"\u003ePenggunaan layanan pemrosesan dokumen panjang meningkat tajam karena biaya turun\u003c/td\u003e\n\u003ctd data-label=\"Kemungkinan dampak pada permintaan HBM\"\u003eJika tambahan beban kerja melampaui penghematan per permintaan, total penggunaan memori bisa meningkat.\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eKetika efisiensi meningkat, tetapi penggunaan naik lebih besar sehingga konsumsi total sumber daya bertambah, fenomena ini disebut paradoks Jevons. Pada layanan AI, yang menentukan adalah seberapa besar penggunaan aktual meningkat setelah biaya pemrosesan turun. Untuk menilai pendapatan produsen memori, volume pengiriman dan harga jual juga perlu dilihat secara terpisah.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#latar-belakang-penurunan-saham-semikonduktor-pada-26-maret\" class=\"anchor\" id=\"latar-belakang-penurunan-saham-semikonduktor-pada-26-maret\"\u003e\u003c/a\u003eLatar belakang penurunan saham semikonduktor pada 26 Maret\u003c/h2\u003e\n\u003cp\u003ePada 26 Maret 2026, kekhawatiran akan melambatnya permintaan memori muncul bersamaan dengan ketidakpastian situasi di Timur Tengah. Bank of Korea menyebut kedua faktor itu sebagai penyebab penurunan pasar saham hari itu. Kurs won terhadap dolar menutup sesi perdagangan siang di level 1,507.0 won per dolar, naik 7.3 won dari hari sebelumnya.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eIndeks atau saham\u003c/th\u003e\n\u003cth\u003ePerubahan pada 26 Maret 2026 dibandingkan hari perdagangan sebelumnya\u003c/th\u003e\n\u003cth\u003eLevel penutupan indeks\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Indeks atau saham\"\u003eKOSPI\u003c/td\u003e\n\u003ctd data-label=\"Perubahan pada 26 Maret 2026 dibandingkan hari perdagangan sebelumnya\"\u003e-3.35%\u003c/td\u003e\n\u003ctd data-label=\"Level penutupan indeks\"\u003e5,460.46 poin\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Indeks atau saham\"\u003eKOSDAQ\u003c/td\u003e\n\u003ctd data-label=\"Perubahan pada 26 Maret 2026 dibandingkan hari perdagangan sebelumnya\"\u003eKisaran -2%\u003c/td\u003e\n\u003ctd data-label=\"Level penutupan indeks\"\u003e1,136.64 poin\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Indeks atau saham\"\u003eSamsung Electronics\u003c/td\u003e\n\u003ctd data-label=\"Perubahan pada 26 Maret 2026 dibandingkan hari perdagangan sebelumnya\"\u003e-4.71%\u003c/td\u003e\n\u003ctd data-label=\"Level penutupan indeks\"\u003eTidak berlaku\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Indeks atau saham\"\u003eSK hynix\u003c/td\u003e\n\u003ctd data-label=\"Perubahan pada 26 Maret 2026 dibandingkan hari perdagangan sebelumnya\"\u003e-6.23%\u003c/td\u003e\n\u003ctd data-label=\"Level penutupan indeks\"\u003eTidak berlaku\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003ePada saat publikasi, Samsung Securities mencatat nilai jual bersih investor asing di pasar efek sebesar 3 triliun 111 miliar won. Pada hari yang sama, saham Alteogen naik 6.28% setelah perusahaan mengumumkan ekspor teknologi. Saham Hanwha Solutions turun 18.22% setelah perusahaan mengumumkan penambahan modal melalui penjualan saham baru. Perubahan harga saham dalam satu hari saja tidak cukup untuk mengetahui dampak TurboQuant terhadap pesanan yang diterima masing-masing perusahaan.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#indikator-yang-perlu-diperiksa-dalam-laporan-kinerja-perusahaan-semikonduktor\" class=\"anchor\" id=\"indikator-yang-perlu-diperiksa-dalam-laporan-kinerja-perusahaan-semikonduktor\"\u003e\u003c/a\u003eIndikator yang perlu diperiksa dalam laporan kinerja perusahaan semikonduktor\u003c/h2\u003e\n\u003cp\u003eUntuk menilai permintaan HBM, jumlah yang dipesan pelanggan perlu dibedakan dari jumlah yang benar-benar dipasok produsen. Dalam pengumuman kinerja pada 23 April 2026, SK hynix menyatakan bahwa penjualan produk bernilai tambah tinggi, termasuk HBM, meningkat pada kuartal pertama. Kuartal ini juga mencakup periode sebelum pengumuman TurboQuant pada Maret.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eCakupan penerapan kompresi dalam layanan dapat diketahui dengan melihat model dan pekerjaan yang dikompresi oleh operator.\u003c/li\u003e\n\u003cli\u003eUntuk membandingkan penghematan memori, diperlukan pengukuran penggunaan memori seluruh server pada panjang permintaan dan jumlah permintaan serentak yang sama.\u003c/li\u003e\n\u003cli\u003eDalam pengumuman kinerja perusahaan, realisasi pengiriman HBM dan periode yang dicakup oleh rencana pasokan mendatang dapat diperiksa secara terpisah.\u003c/li\u003e\n\u003c/ul\u003e\n","tags":["AI generatif","Pusat data AI","Samsung Electronics","SK hynix","Chip AI","HBM"],"faqs":[{"question":"Apakah penggunaan TurboQuant bisa mengurangi jumlah chip HBM dari 6 menjadi 1?","answer":"Kompresi setidaknya 6 kali lipat yang diukur Google berlaku untuk kapasitas cache KV. Untuk memperkirakan jumlah chip HBM yang dibutuhkan, kita perlu mengetahui kebutuhan kapasitas memori total, termasuk bobot model, serta kebutuhan bandwidth."},{"question":"Dengan TurboQuant, apakah kebutuhan memori untuk pelatihan AI juga turun menjadi 1/6?","answer":"Angka itu berasal dari pengukuran cache KV yang digunakan model bahasa yang sudah dilatih saat mencari informasi dalam teks panjang. Persentase penghematan total memori untuk melatih model tidak bisa dihitung dari eksperimen ini."},{"question":"Apakah angka hingga 8 kali lipat itu juga berlaku untuk waktu yang dibutuhkan hingga jawaban diterima?","answer":"Tim peneliti menggunakan GPU H100 untuk membandingkan kecepatan penghitungan skor yang menentukan seberapa besar token sebelumnya dijadikan acuan. Untuk mengetahui kecepatan menghasilkan jawaban secara keseluruhan, waktu perlu diukur sejak pemrosesan masukan dimulai hingga keluaran selesai dihasilkan."},{"question":"Jika cache dikompresi, apakah kualitas jawaban tetap terjaga dalam percakapan panjang?","answer":"Dalam pengujian pencarian informasi yang disembunyikan dalam teks panjang, tim peneliti Google mendapati bahwa kemampuan menemukan jawaban yang benar tetap terjaga. Makalah penelitian itu melaporkan bahwa kualitas sedikit menurun ketika jumlah bit diturunkan menjadi rata-rata 2.5 bit per kanal."},{"question":"Selain untuk cache KV pada model bahasa, TurboQuant bisa digunakan untuk apa?","answer":"Tim peneliti juga menerapkan TurboQuant pada pencarian vektor untuk menemukan item yang maknanya serupa. Dalam penerapan ini, angka-angka yang mewakili ciri objek pencarian dikompresi, lalu dievaluasi seberapa baik pencarian menemukan item yang diinginkan."},{"question":"Apakah makalah TurboQuant pertama kali dipublikasikan pada Maret 2026?","answer":"Para peneliti pertama kali mengunggah makalah itu ke arXiv pada 28 April 2025. Google Research memperkenalkan hasil penelitian tersebut pada 25 Maret 2026 (waktu setempat)."},{"question":"Apakah penurunan harga saham pada 26 Maret bisa memastikan bahwa pesanan HBM berkurang?","answer":"Harga saham hari itu mencerminkan kekhawatiran terhadap permintaan memori ke depan serta situasi di Timur Tengah. Perubahan pesanan yang sebenarnya perlu diperiksa melalui kontrak pasokan dengan pelanggan atau realisasi pengiriman HBM pada kuartal-kuartal berikutnya."}],"sources":[{"url":"https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/","title":"Google Research, TurboQuant: Mendefinisikan ulang efisiensi AI dengan kompresi ekstrem","type":"source"},{"url":"https://arxiv.org/abs/2504.19874","title":"TurboQuant: Kuantisasi vektor daring dengan laju distorsi yang nyaris optimal","type":"source"},{"url":"https://www.samsungpop.com/common.do?cmd=down\u0026contentType=application%2Fpdf\u0026fileName=4020%2F2026032616002001K_02_02.pdf\u0026inlineYn=Y\u0026saveKey=research.pdf","title":"Samsung Securities, 26 Maret 2026: kondisi pasar domestik saat penutupan","type":"data_point"},{"url":"https://www.bok.or.kr/portal/bbs/P0002018/view.do?menuNo=200366\u0026nttId=10097172","title":"Bank of Korea, indikator utama pasar keuangan (3.27), transaksi 26 Maret 2026","type":"data_point"},{"url":"https://news.skhynix.co.kr/q1-2026-business-results/","title":"SK hynix, pengumuman kinerja usaha kuartal 1 tahun 2026","type":"source"}],"images":[{"id":3230,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6NDg3MTcsInB1ciI6ImJsb2JfaWQifX0=--aa9e0ea7054675bdd74ce1f5ae9ed2310f6ece0e/ai-b752b70d.webp","is_representative":true,"generation_method":"ai_photo","license":"ai_generated","mime_type":"image/webp","width":1536,"height":1024,"translations":{"ko":{"alt":"자동 검사 장비 아래 검은 트레이에 줄지어 놓인 적층 HBM 칩","caption":"HBM 수요 변화를 판단하려면 서비스가 동시에 처리하는 요청 수와 메모리 업체의 실제 공급량을 함께 봐야 한다.","description":null},"en":{"alt":"Rows of stacked HBM chips in a black tray beneath an automated inspection station.","caption":"To gauge changes in HBM demand, track both how many requests services handle at once and how much memory suppliers actually deliver.","description":null},"ja":{"alt":"自動検査装置の下で、黒いトレーに整列した積層HBMチップ","caption":"HBMの需要変化を見極めるには、サービスが同時に処理するリクエスト数とメモリメーカーの実際の供給量をあわせて見る必要がある。","description":null},"es":{"alt":"Filas de chips HBM apilados en una bandeja negra bajo un equipo de inspección automática.","caption":"Para evaluar los cambios en la demanda de HBM, hay que observar cuántas solicitudes procesan los servicios a la vez y cuánta memoria suministran realmente los fabricantes.","description":null},"id":{"alt":"Deretan cip HBM bertumpuk di baki hitam di bawah alat inspeksi otomatis.","caption":"Untuk menilai perubahan permintaan HBM, perhatikan jumlah permintaan yang ditangani layanan secara bersamaan dan volume memori yang benar-benar dipasok produsen.","description":null},"pt":{"alt":"Fileiras de chips HBM empilhados em uma bandeja preta sob um equipamento de inspeção automática.","caption":"Para avaliar mudanças na demanda por HBM, é preciso acompanhar quantas solicitações os serviços processam ao mesmo tempo e quanta memória os fabricantes de fato fornecem.","description":null},"zh-hant":{"alt":"自動檢測設備下方，黑色托盤上整齊排列著堆疊式 HBM 晶片。","caption":"要判斷 HBM 需求的變化，須同時觀察服務並行處理的請求數量與記憶體廠商的實際供貨量。","description":null},"de":{"alt":"Reihen gestapelter HBM-Chips in einem schwarzen Träger unter einer automatischen Prüfanlage.","caption":"Um Änderungen der HBM-Nachfrage einzuschätzen, muss man sowohl die Zahl gleichzeitig verarbeiteter Anfragen als auch die tatsächlichen Liefermengen der Speicherhersteller betrachten.","description":null}}},{"id":3231,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6NDg3MjMsInB1ciI6ImJsb2JfaWQifX0=--a684b87ab351231630b796a548a827c9949128a0/ai-e219098b.webp","is_representative":false,"generation_method":"ai_semi","license":"ai_generated","mime_type":"image/webp","width":1536,"height":1024,"translations":{"ko":{"alt":"짙은 회색 코트를 입은 여성이 점선 아래로 빨간 막대 두 개가 내려간 전광판을 바라본다.","caption":"2026년 3월 26일 삼성전자와 SK하이닉스 주가는 전 거래일보다 각각 4.71%, 6.23% 하락했다.","description":null},"en":{"alt":"A woman in a charcoal coat glances at a screen with two red bars extending below a dashed line.","caption":"On March 26, 2026, Samsung Electronics and SK Hynix shares fell 4.71% and 6.23%, respectively, from the previous close.","description":null},"ja":{"alt":"濃いグレーのコートを着た女性が、破線の下に赤い棒が2本伸びる画面に目を向けている。","caption":"2026年3月26日、サムスン電子とSKハイニックスの株価は前営業日比でそれぞれ4.71％、6.23％下落した。","description":null},"es":{"alt":"Una mujer con abrigo gris oscuro mira una pantalla con dos barras rojas por debajo de una línea discontinua.","caption":"El 26 de marzo de 2026, las acciones de Samsung Electronics y SK Hynix cayeron un 4,71 % y un 6,23 %, respectivamente, frente al cierre anterior.","description":null},"id":{"alt":"Seorang perempuan berjas abu-abu gelap melirik layar dengan dua batang merah di bawah garis putus-putus.","caption":"Pada 26 Maret 2026, saham Samsung Electronics dan SK Hynix masing-masing turun 4,71% dan 6,23% dari penutupan sebelumnya.","description":null},"pt":{"alt":"Uma mulher de casaco cinza-escuro olha para uma tela com duas barras vermelhas abaixo de uma linha tracejada.","caption":"Em 26 de março de 2026, as ações da Samsung Electronics e da SK Hynix caíram 4,71% e 6,23%, respectivamente, ante o fechamento anterior.","description":null},"zh-hant":{"alt":"一名穿深灰色大衣的女子側望螢幕，上面有兩根紅色長條從虛線向下延伸。","caption":"2026年3月26日，三星電子與SK海力士的股價較前一交易日分別下跌4.71%和6.23%。","description":null},"de":{"alt":"Eine Frau im dunkelgrauen Mantel blickt auf einen Bildschirm mit zwei roten Balken unter einer gestrichelten Linie.","caption":"Am 26. März 2026 fielen die Aktien von Samsung Electronics und SK Hynix gegenüber dem vorherigen Schlusskurs um 4,71 % beziehungsweise 6,23 %.","description":null}}}],"published_at":"2026-11-21T09:02:17+09:00","updated_at":"2026-11-21T09:02:17+09:00","license":"cc_by","translation_status":"reviewed","available_locales":["ko","en","ja","es"],"data_locales":["ko","en","ja","es","id","pt","zh-hant","de"],"url":"https://injoys.com/en/articles/turboquant-kv-cache-compression-hbm-demand"}