TurboQuant: compresión 6x de la caché KV y demanda de HBM ========================================================= En un experimento de búsqueda de información en textos largos, Google redujo la caché KV a una sexta parte o menos de su tamaño original. El efecto en la demanda de HBM depende de la proporción de memoria que ocupaba la caché y de cuánto aumente el número de solicitudes que se pueden procesar a la vez tras la compresión. - El factor de compresión de al menos 6 que Google anunció en marzo de 2026 se obtuvo al medir la caché KV que usan los modelos de lenguaje para generar respuestas. - Si la caché se reduce a exactamente una sexta parte de su tamaño original, 6 solicitudes de la misma longitud ocupan tanto espacio en la caché como 1 antes de la compresión. - El 26 de marzo de 2026, Samsung Electronics bajó un 4.71% y SK hynix un 6.23% respecto a la sesión anterior. - Para saber cómo cambia la demanda de HBM, hay que ver tanto cuántas solicitudes procesa el servicio a la vez como el volumen que suministran realmente los fabricantes de memoria. En los experimentos, TurboQuant de Google redujo la caché KV que se usa para generar respuestas de IA a una sexta parte de su tamaño original como máximo. Así se necesita menos memoria por solicitud. La demanda total de memoria de alto ancho de banda (HBM) depende de cuánto aumente el número de solicitudes que se procesan a la vez. Las cifras de compresión proceden del anuncio de Google Research del 24 de marzo de 2026. Las cotizaciones corresponden al cierre del 26 de marzo. ¿Qué es la caché KV que comprime TurboQuant? La caché KV es un espacio de almacenamiento temporal que el modelo de lenguaje usa para volver a consultar el contexto anterior. El modelo divide el texto en unidades llamadas tokens para procesarlo. Si guarda las claves y los valores (KV) calculados para cada token, no tiene que repetir esos cálculos al generar el siguiente. Cuanto más larga es la conversación, más claves y valores hay que guardar. TurboQuant representa esos números con menos bits. Esto se llama cuantización. Los pesos que el modelo obtuvo durante el entrenamiento siguen ocupando memoria después de comprimir la caché. ¿Qué se midió con un factor de compresión de 6 y una velocidad 8 veces mayor? Los dos factores que anunció Google se refieren, respectivamente, al espacio de almacenamiento y a la velocidad de un cálculo concreto. La descripción de los experimentos de Google Research del 24 de marzo de 2026 permite ver qué se comparó en cada caso. Cifra anunciada Condiciones del experimento Resultado medido Como máximo, una sexta parte de la capacidad original Tarea de buscar información oculta en un texto largo Tamaño de la caché KV reducida sin perder eficacia al encontrar la respuesta correcta Hasta 8 veces la velocidad original Comparación, en una GPU H100, de claves de 4 bits con TurboQuant y claves de 32 bits sin comprimir Velocidad de cálculo de las puntuaciones que determinan cuánto se tiene en cuenta cada token anterior Calidad de las respuestas tras la compresión Cuánta calidad se conserva depende también del número de bits que se asignan a cada número. Según el artículo de investigación, la calidad de las respuestas se mantuvo en la evaluación incluso con un promedio de 3.5 bits por canal. Con un promedio de 2.5 bits, la calidad bajó ligeramente. El tiempo y la calidad de respuesta de un servicio real deben comprobarse con las preguntas que procesa ese servicio. Ejemplo de cálculo: solicitudes simultáneas y capacidad de memoria Si la caché se reduce exactamente a una sexta parte, 6 solicitudes de la misma longitud ocupan tanto espacio en la caché como 1 antes de la compresión. El cálculo aplica el límite inferior del factor de compresión observado en el experimento: 6. Se supone que el modelo y la longitud de las solicitudes son los mismos y que la caché de cada solicitud se guarda por separado. Solicitudes procesadas a la vez Capacidad total de la caché KV tras la compresión 1 solicitud Una sexta parte de lo que ocupaba 1 solicitud antes de la compresión 6 solicitudes La misma capacidad que ocupaba 1 solicitud antes de la compresión Más de 6 solicitudes Más capacidad que la que ocupaba 1 solicitud antes de la compresión Para calcular el ahorro en todo el servidor, hay que saber cuántos bytes ocupaba la caché antes de comprimirla. En las condiciones anteriores, se ahorran cinco sextas partes de la capacidad original de la caché. Cuanto menor sea la proporción de memoria que ocupa la caché, menor será el porcentaje de ahorro en todo el servidor. Cuándo puede bajar o subir la demanda de HBM La demanda de compra de HBM depende de cómo usen los operadores de servicios el espacio que ahorran. La capacidad de la HBM es la cantidad de datos que puede almacenar a la vez. El ancho de banda es la cantidad de datos que se puede transferir en un tiempo determinado. Para calcular cuánto habría que comprar a partir de la capacidad de la caché medida en los experimentos, hay que saber si lo que limitaba la ampliación de los servidores era la capacidad o el ancho de banda. Condiciones de operación del servicio Posible efecto en la demanda de HBM El número y la longitud de las solicitudes se mantienen constantes y se pensaba ampliar la capacidad por falta de espacio para la caché El espacio liberado en los equipos existentes puede aplazar las compras adicionales. Se atienden más solicitudes a la vez con los mismos equipos El espacio ahorrado puede usarse para la caché de las nuevas solicitudes. La bajada de los costes hace que aumente mucho el uso de servicios que procesan documentos largos Si el aumento de la carga de trabajo supera el ahorro por solicitud, el uso total de memoria puede crecer. Cuando una mejora de la eficiencia provoca un aumento aún mayor del uso y acaba elevando el consumo total de un recurso, se habla de la paradoja de Jevons. En los servicios de IA, la clave es cuánto aumenta el uso real tras bajar el coste de procesamiento. Para evaluar los ingresos de los fabricantes de memorias, también hay que examinar por separado el volumen de envíos y los precios de venta. El contexto de la caída de las acciones de semiconductores el 26 de marzo El 26 de marzo de 2026 coincidieron la preocupación por la desaceleración de la demanda de memorias y la incertidumbre por la situación en Oriente Medio. El Banco de Corea señaló ambos factores como causas de la caída bursátil de ese día. El tipo de cambio del won frente al dólar cerró la sesión diurna en 1,507.0 wones por dólar, 7.3 wones por encima del día anterior. Índice o acción Variación del 26 de marzo de 2026 respecto a la sesión anterior Cierre del índice KOSPI -3.35% 5,460.46 puntos KOSDAQ Caída del 2% y pico 1,136.64 puntos Samsung Electronics -4.71% No corresponde SK hynix -6.23% No corresponde En el momento de la publicación, Samsung Securities cifró las ventas netas de inversores extranjeros en el mercado principal de valores en 3 billones y 111 mil millones de wones. Alteogen, que ese mismo día comunicó una exportación de tecnología, subió un 6.28%. Hanwha Solutions, que comunicó una ampliación de capital mediante la emisión de acciones de pago, cayó un 18.22%. Es difícil determinar solo por la variación de un día qué efecto tuvo TurboQuant en los pedidos de cada empresa. Indicadores que conviene revisar en los resultados del sector de semiconductores Para evaluar la demanda de HBM, hay que distinguir entre el volumen que piden los clientes y el que suministran los fabricantes. En la presentación de resultados del 23 de abril de 2026, SK hynix informó de que en el primer trimestre había aumentado las ventas de productos de alto valor añadido, entre ellos la HBM. Ese trimestre también incluye el periodo anterior al anuncio de TurboQuant en marzo. Los modelos y las tareas a los que el operador aplica la compresión permiten ver el alcance de su adopción en el servicio. Para comparar el ahorro de memoria, hace falta medir el uso total de memoria del servidor con la misma longitud de solicitud y el mismo número de solicitudes simultáneas. En las presentaciones de resultados de las empresas se pueden comprobar por separado los envíos de HBM y el periodo que abarcan los planes de suministro futuro. FAQ Q. ¿Se puede pasar de 6 chips HBM a 1 con TurboQuant? A. El factor de compresión de al menos 6 que midió Google se aplica a la capacidad de la caché KV. Para calcular cuántos chips HBM hacen falta, hay que conocer la capacidad total de memoria necesaria, incluidos los pesos del modelo, y los requisitos de ancho de banda. Q. ¿Con TurboQuant también se reduce a 1/6 la memoria necesaria para entrenar una IA? A. Esa cifra se obtuvo al medir la caché KV que usa un modelo de lenguaje ya entrenado para buscar información en textos largos. Este experimento no permite calcular el porcentaje de ahorro en la memoria total necesaria para entrenar el modelo. Q. ¿La cifra de hasta 8 veces también se aplica al tiempo que se tarda en recibir una respuesta? A. El equipo de investigación comparó, en una GPU H100, la velocidad de cálculo de la puntuación que determina en qué medida se tienen en cuenta los tokens anteriores. Para saber a qué velocidad se genera la respuesta completa, hay que medir el tiempo desde que empieza a procesarse la entrada hasta que se termina de generar la salida. Q. ¿Se mantiene la calidad de las respuestas en conversaciones largas si se comprime la caché? A. El equipo de investigación de Google mantuvo el rendimiento al identificar las respuestas correctas en una prueba que consistía en buscar información oculta en textos largos. Según el artículo de investigación, la calidad bajó ligeramente al pasar a un promedio de 2.5 bits por canal. Q. ¿Para qué más se puede usar TurboQuant, aparte de comprimir la caché KV de los modelos de lenguaje? A. El equipo de investigación también aplicó TurboQuant a la búsqueda vectorial de elementos con significados similares. En este caso, se comprimen los números que representan las características de los elementos entre los que se busca y luego se evalúa qué tan bien se encuentran los elementos deseados. Q. ¿El artículo sobre TurboQuant se publicó por primera vez en marzo de 2026? A. Los investigadores publicaron el artículo por primera vez en arXiv el 28 de abril de 2025. Google Research presentó los resultados de la investigación el 25 de marzo de 2026 (hora local). Q. ¿La caída de la cotización del 26 de marzo permite confirmar que han disminuido los pedidos de HBM? A. La cotización de ese día reflejó tanto la preocupación por la demanda futura de memoria como la situación en Oriente Medio. Para comprobar si los pedidos cambiaron realmente, hay que consultar los contratos de suministro con los clientes o las cifras de envíos de HBM de los trimestres posteriores. Sources - Google Research, TurboQuant: Redefinir la eficiencia de la IA con una compresión extrema: https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/ - TurboQuant: Cuantización vectorial en línea con una tasa de distorsión casi óptima: https://arxiv.org/abs/2504.19874 - Samsung Securities, situación del mercado nacional al cierre del 26 de marzo de 2026: https://www.samsungpop.com/common.do?cmd=down&contentType=application%2Fpdf&fileName=4020%2F2026032616002001K_02_02.pdf&inlineYn=Y&saveKey=research.pdf - Banco de Corea, principales indicadores del mercado financiero (3.27), operaciones del 26 de marzo de 2026: https://www.bok.or.kr/portal/bbs/P0002018/view.do?menuNo=200366&nttId=10097172 - SK hynix, anuncio de los resultados empresariales del 1.er trimestre de 2026: https://news.skhynix.co.kr/q1-2026-business-results/ Images - Filas de chips HBM apilados en una bandeja negra bajo un equipo de inspección automática.: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6NDg3MTcsInB1ciI6ImJsb2JfaWQifX0=--aa9e0ea7054675bdd74ce1f5ae9ed2310f6ece0e/ai-b752b70d.webp - Una mujer con abrigo gris oscuro mira una pantalla con dos barras rojas por debajo de una línea discontinua.: https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6NDg3MjMsInB1ciI6ImJsb2JfaWQifX0=--a684b87ab351231630b796a548a827c9949128a0/ai-e219098b.webp --- Category: Tendencias Source: https://injoys.com/es/articles/turboquant-kv-cache-compression-hbm-demand License: cc_by Translation-Status: reviewed