TurboQuant: compresión 6x de la caché KV y demanda de HBM
En un experimento de búsqueda de información en textos largos, Google redujo la caché KV a una sexta parte o menos de su tamaño original. El efecto en la demanda de HBM depende de la proporción de memoria que ocupaba la caché y de cuánto aumente el número de solicitudes que se pueden procesar a la vez tras la compresión.
El factor de compresión de al menos 6 que Google anunció en marzo de 2026 se obtuvo al medir la caché KV que usan los modelos de lenguaje para generar respuestas.
Si la caché se reduce a exactamente una sexta parte de su tamaño original, 6 solicitudes de la misma longitud ocupan tanto espacio en la caché como 1 antes de la compresión.
El 26 de marzo de 2026, Samsung Electronics bajó un 4.71% y SK hynix un 6.23% respecto a la sesión anterior.
Para saber cómo cambia la demanda de HBM, hay que ver tanto cuántas solicitudes procesa el servicio a la vez como el volumen que suministran realmente los fabricantes de memoria.
En los experimentos, TurboQuant de Google redujo la caché KV que se usa para generar respuestas de IA a una sexta parte de su tamaño original como máximo. Así se necesita menos memoria por solicitud. La demanda total de memoria de alto ancho de banda (HBM) depende de cuánto aumente el número de solicitudes que se procesan a la vez.
Las cifras de compresión proceden del anuncio de Google Research del 24 de marzo de 2026. Las cotizaciones corresponden al cierre del 26 de marzo.
¿Qué es la caché KV que comprime TurboQuant?
La caché KV es un espacio de almacenamiento temporal que el modelo de lenguaje usa para volver a consultar el contexto anterior. El modelo divide el texto en unidades llamadas tokens para procesarlo. Si guarda las claves y los valores (KV) calculados para cada token, no tiene que repetir esos cálculos al generar el siguiente.
Cuanto más larga es la conversación, más claves y valores hay que guardar. TurboQuant representa esos números con menos bits. Esto se llama cuantización. Los pesos que el modelo obtuvo durante el entrenamiento siguen ocupando memoria después de comprimir la caché.
¿Qué se midió con un factor de compresión de 6 y una velocidad 8 veces mayor?
Los dos factores que anunció Google se refieren, respectivamente, al espacio de almacenamiento y a la velocidad de un cálculo concreto. La descripción de los experimentos de Google Research del 24 de marzo de 2026 permite ver qué se comparó en cada caso.
Cifra anunciada | Condiciones del experimento | Resultado medido
Como máximo, una sexta parte de la capacidad original | Tarea de buscar información oculta en un texto largo | Tamaño de la caché KV reducida sin perder eficacia al encontrar la respuesta correcta
Hasta 8 veces la velocidad original | Comparación, en una GPU H100, de claves de 4 bits con TurboQuant y claves de 32 bits sin comprimir | Velocidad de cálculo de las puntuaciones que determinan cuánto se tiene en cuenta cada token anterior
Calidad de las respuestas tras la compresión
Cuánta calidad se conserva depende también del número de bits que se asignan a cada número. Según el artículo de investigación, la calidad de las respuestas se mantuvo en la evaluación incluso con un promedio de 3.5 bits por canal. Con un promedio de 2.5 bits, la calidad bajó ligeramente. El tiempo y la calidad de respuesta de un servicio real deben comprobarse con las preguntas que procesa ese servicio.
Ejemplo de cálculo: solicitudes simultáneas y capacidad de memoria
Si la caché se reduce exactamente a una sexta parte, 6 solicitudes de la misma longitud ocupan tanto espacio en la caché como 1 antes de la compresión. El cálculo aplica el límite inferior del factor de compresión observado en el experimento: 6. Se supone que el modelo y la longitud de las solicitudes son los mismos y que la caché de cada solicitud se guarda por separado.
Solicitudes procesadas a la vez | Capacidad total de la caché KV tras la compresión
1 solicitud | Una sexta parte de lo que ocupaba 1 solicitud antes de la compresión
6 solicitudes | La misma capacidad que ocupaba 1 solicitud antes de la compresión
Más de 6 solicitudes | Más capacidad que la que ocupaba 1 solicitud antes de la compresión
Para calcular el ahorro en todo el servidor, hay que saber cuántos bytes ocupaba la caché antes de comprimirla. En las condiciones anteriores, se ahorran cinco sextas partes de la capacidad original de la caché. Cuanto menor sea la proporción de memoria que ocupa la caché, menor será el porcentaje de ahorro en todo el servidor.
Cuándo puede bajar o subir la demanda de HBM
La demanda de compra de HBM depende de cómo usen los operadores de servicios el espacio que ahorran. La capacidad de la HBM es la cantidad de datos que puede almacenar a la vez. El ancho de banda es la cantidad de datos que se puede transferir en un tiempo determinado. Para calcular cuánto habría que comprar a partir de la capacidad de la caché medida en los experimentos, hay que saber si lo que limitaba la ampliación de los servidores era la capacidad o el ancho de banda.
Condiciones de operación del servicio | Posible efecto en la demanda de HBM
El número y la longitud de las solicitudes se mantienen constantes y se pensaba ampliar la capacidad por falta de espacio para la caché | El espacio liberado en los equipos existentes puede aplazar las compras adicionales.
Se atienden más solicitudes a la vez con los mismos equipos | El espacio ahorrado puede usarse para la caché de las nuevas solicitudes.
La bajada de los costes hace que aumente mucho el uso de servicios que procesan documentos largos | Si el aumento de la carga de trabajo supera el ahorro por solicitud, el uso total de memoria puede crecer.
Cuando una mejora de la eficiencia provoca un aumento aún mayor del uso y acaba elevando el consumo total de un recurso, se habla de la paradoja de Jevons. En los servicios de IA, la clave es cuánto aumenta el uso real tras bajar el coste de procesamiento. Para evaluar los ingresos de los fabricantes de memorias, también hay que examinar por separado el volumen de envíos y los precios de venta.
El contexto de la caída de las acciones de semiconductores el 26 de marzo
El 26 de marzo de 2026 coincidieron la preocupación por la desaceleración de la demanda de memorias y la incertidumbre por la situación en Oriente Medio. El Banco de Corea señaló ambos factores como causas de la caída bursátil de ese día. El tipo de cambio del won frente al dólar cerró la sesión diurna en 1,507.0 wones por dólar, 7.3 wones por encima del día anterior.
Índice o acción | Variación del 26 de marzo de 2026 respecto a la sesión anterior | Cierre del índice
KOSPI | -3.35% | 5,460.46 puntos
KOSDAQ | Caída del 2% y pico | 1,136.64 puntos
Samsung Electronics | -4.71% | No corresponde
SK hynix | -6.23% | No corresponde
En el momento de la publicación, Samsung Securities cifró las ventas netas de inversores extranjeros en el mercado principal de valores en 3 billones y 111 mil millones de wones. Alteogen, que ese mismo día comunicó una exportación de tecnología, subió un 6.28%. Hanwha Solutions, que comunicó una ampliación de capital mediante la emisión de acciones de pago, cayó un 18.22%. Es difícil determinar solo por la variación de un día qué efecto tuvo TurboQuant en los pedidos de cada empresa.
Indicadores que conviene revisar en los resultados del sector de semiconductores
Para evaluar la demanda de HBM, hay que distinguir entre el volumen que piden los clientes y el que suministran los fabricantes. En la presentación de resultados del 23 de abril de 2026, SK hynix informó de que en el primer trimestre había aumentado las ventas de productos de alto valor añadido, entre ellos la HBM. Ese trimestre también incluye el periodo anterior al anuncio de TurboQuant en marzo.
· Los modelos y las tareas a los que el operador aplica la compresión permiten ver el alcance de su adopción en el servicio.
· Para comparar el ahorro de memoria, hace falta medir el uso total de memoria del servidor con la misma longitud de solicitud y el mismo número de solicitudes simultáneas.
· En las presentaciones de resultados de las empresas se pueden comprobar por separado los envíos de HBM y el periodo que abarcan los planes de suministro futuro.