De las GPU a la memoria: el cambio de paradigma de los semiconductores de IA

Los criterios de competencia de los semiconductores para IA se están ampliando desde el simple número de operaciones hacia cuántos datos pueden almacenarse y trasladarse con poca energía. En la inferencia de IA a gran escala, se producen situaciones en las que la GPU queda a la espera, no porque no pueda realizar los cálculos, sino porque no recibe a tiempo los pesos del modelo y la caché KV necesarios.

Este cambio suele describirse como una «transición de un enfoque centrado en la GPU a otro centrado en la memoria». Sin embargo, esto no significa que la GPU vaya a desaparecer o que su desarrollo se haya detenido. Más exactamente, la dirección consiste en codiseñar la GPU, HBM, la memoria externa, el almacenamiento, la red y el software como un único sistema de movimiento de datos.

Qué es la computación centrada en la memoria

La computación centrada en la memoria es un enfoque que toma la ubicación, el ancho de banda, la capacidad y las funciones de cálculo de la memoria como punto de partida del diseño del sistema para reducir el coste de transportar repetidamente los datos hasta la unidad de cálculo.

El rendimiento aritmético de los chips de IA ha aumentado rápidamente, pero el proceso de obtener datos desde fuera del chip es relativamente lento y consume mucha energía. Por ello, las siguientes tecnologías han adquirido importancia de forma conjunta.

• HBM situada cerca de la GPU o del acelerador de IA
• Empaquetado 3D que conecta verticalmente la memoria y la lógica
• HBM personalizada que incorpora funciones de control o parte del cálculo en el die base
• Ampliación y agrupación de memoria mediante CXL
• Concepto de HBF que conecta la memoria flash NAND mediante una interfaz amplia
• Interconexiones ópticas destinadas a reducir la energía de transmisión entre chips y servidores
• PIM y near-memory computing, que procesan los datos cerca de la memoria

Es decir, la expresión «centrado en la memoria» no se refiere a un único producto de memoria específico. Es un principio de sistema que agrupa varias capas, desde la memoria rápida hasta los dispositivos de almacenamiento de gran capacidad, para minimizar el movimiento de datos.

Por qué la inferencia de IA agrava el cuello de botella de la memoria

Los pesos del modelo y la caché KV suponen cargas diferentes

La memoria necesaria para la inferencia de IA se divide principalmente en los pesos del modelo, las activaciones generadas durante la ejecución y la caché KV. Los pesos del modelo ocupan un tamaño fijo incluso cuando no hay solicitudes, mientras que la caché KV aumenta según la longitud de entrada, la longitud de salida y el número de solicitudes simultáneas.

Para evitar recalcular desde el principio los tokens anteriores cada vez, los modelos Transformer almacenan en la caché KV la información de claves y valores de atención de cada capa. De forma simplificada, el tamaño de la caché KV de una solicitud es proporcional a los siguientes elementos.

El tamaño exacto de la caché KV debe comprobarse en la arquitectura y las especificaciones de implementación del modelo.

En la caché KV se almacenan por separado las claves y los valores. Por ello, cuando el contexto se alarga o aumenta el número de usuarios procesados simultáneamente, la caché KV crece con rapidez. No todos los modelos utilizan millones de tokens ni la caché aumenta uniformemente cientos de veces, pero está claro que la inferencia de textos largos y las tareas basadas en agentes elevan la presión sobre la memoria.

Las alucinaciones y la capacidad de memoria no son el mismo problema

Un contexto más largo y la generación aumentada por recuperación pueden proporcionar más fundamentos al modelo. Sin embargo, aumentar la memoria por sí solo no elimina las alucinaciones. También son necesarios la calidad de los resultados de búsqueda, la composición del prompt, la capacidad de razonamiento del modelo, la verificación de las fuentes y un sistema de evaluación.

El software también reduce la demanda de memoria física

El cuello de botella de la caché KV no se resuelve únicamente ampliando el hardware.

• MQA y GQA reducen el número de cabezas KV que deben almacenarse.
• La cuantización reduce el número de bytes de los pesos y la caché.
• PagedAttention gestiona la caché por páginas para mitigar la fragmentación y el desperdicio.
• El batching continuo agrupa eficientemente varias solicitudes.
• El almacenamiento en caché de prefijos reutiliza los prompts del sistema o los contextos comunes que se repiten.
• La eliminación de caché y la descarga por capas trasladan la información menos importante a una memoria más lenta.

Por tanto, la inversión real en memoria de un centro de datos depende no solo del tamaño del modelo, sino también de la eficiencia del motor de inferencia.

La jerarquía de memoria de los centros de datos de IA

Es difícil que una sola memoria satisfaga simultáneamente las exigencias de velocidad, capacidad, precio y eficiencia energética. Es probable que los centros de datos de IA evolucionen hacia la siguiente estructura jerárquica.

La clave no es que HBM o HBF se imponga sobre la otra, sino distribuir varias capas según la frecuencia de uso de los datos.

La competencia de la memoria de próxima generación mostrada en FMS 2026

FMS, celebrado en agosto de 2026 en Santa Clara, Estados Unidos, abordó como tema principal las estructuras de memoria y almacenamiento para IA posteriores a HBM. El debate se centró en un mayor apilamiento, capas de gran capacidad basadas en NAND, memoria personalizada y tecnologías de conexión para centros de datos.

GHBM de Samsung Electronics y HBF, debatida por SK hynix con Google y SanDisk, se presentaron como ejemplos de esta dirección. Sin embargo, es difícil afirmar que denominaciones como GHBM, HBF y THBM sean todas nombres genéricos de generaciones con especificaciones idénticas ya definidas por JEDEC. Es necesario distinguir entre tecnologías en fase de presentación por parte de las empresas, conceptos de desarrollo conjunto y productos comerciales estandarizados.

Además, una generación con una denominación superior no hace necesariamente que el servicio de IA sea más rápido en la práctica. Deben compararse conjuntamente el ancho de banda efectivo, la capacidad de memoria, la latencia, la energía, la refrigeración, el rendimiento de fabricación del paquete y la compatibilidad de software.

Ventajas y límites de capacidad de HBM

HBM apila verticalmente varios dies de DRAM y los conecta mediante vías a través del silicio y una interfaz amplia. Su principal ventaja es que puede suministrar en paralelo una gran cantidad de datos desde una posición más cercana al acelerador que la memoria convencional instalada en placa.

Sin embargo, es difícil aumentar indefinidamente la capacidad de HBM.

1. A medida que aumenta el número de capas, se elevan la dificultad del rendimiento de fabricación y de las pruebas.
2. Aumenta el área del paquete donde se colocan conjuntamente la GPU y HBM.
3. El calor generado por el acelerador y la memoria debe eliminarse en un espacio reducido.
4. La red de suministro eléctrico y el cableado del interposer también se vuelven más complejos.
5. Utilizar la costosa HBM para almacenar incluso datos de baja frecuencia de uso reduce la rentabilidad.

Por ello, cobra importancia una jerarquización en la que HBM se encargue de los datos utilizados con mayor frecuencia y el resto se transfiera a memoria CXL, flash o SSD.

¿Puede HBF sustituir a HBM?

HBF es la abreviatura de High Bandwidth Flash y constituye un concepto destinado a paralelizar y apilar memoria flash NAND para crear una capa de memoria de gran ancho de banda más cercana al acelerador que los SSD convencionales. Como NAND ofrece mayor densidad y no volatilidad que DRAM, permite albergar más datos en el mismo espacio físico.

Sin embargo, NAND tiene características diferentes a DRAM.

• La latencia de lectura es mayor.
• Requiere un proceso de borrado antes de sobrescribir.
• Es necesario gestionar la vida útil en función del número de escrituras.
• Requiere gestión de bloques defectuosos, corrección de errores y wear leveling.
• Resulta más adecuada para accesos secuenciales en unidades grandes que para accesos irregulares en unidades pequeñas.

Por tanto, aunque HBF se comercialice, es más probable que funcione como una capa de gran capacidad entre HBM y SSD que como un reemplazo directo de HBM. Entre sus posibles usos se encuentran los pesos de modelos centrados en la lectura, las cachés con una baja frecuencia de reutilización, los puntos de control y los datos de búsqueda. Su idoneidad real dependerá del estándar de interfaz, la latencia, la durabilidad y la compatibilidad del controlador y del software de inferencia.

El problema del empaquetado 3D planteado por GHBM y THBM

El método de colocar el acelerador y HBM en paralelo, uno junto al otro dentro del paquete, presenta límites en la anchura de la conexión y el área del paquete. Para superarlos, han surgido conceptos que apilan verticalmente la lógica y la memoria para reducir la longitud del cableado.

Estructura que coloca la memoria sobre la GPU

El concepto presentado como GHBM o HBM en el eje Z busca reducir la distancia de movimiento de los datos mediante la integración vertical de la GPU y HBM. Las numerosas conexiones verticales cortas permiten esperar un gran ancho de banda y un bajo consumo energético de entrada y salida.

El problema es el calor. Si la memoria se coloca sobre la GPU, el calor generado por esta puede atravesar el espacio entre la memoria y el dispositivo de refrigeración. La expresión «la memoria se derrite» es más bien una metáfora para destacar el problema térmico que una explicación técnica. Los riesgos reales son superar la temperatura permitida de las uniones y la memoria, el aumento de la corriente de fuga, la limitación del rendimiento y la reducción de la vida útil.

Estructura con la memoria debajo y la GPU encima

THBM, que según se ha informado fue propuesta por el equipo del profesor Kim Jeong-ho de KAIST, parte de la idea de colocar la GPU sobre la pila de HBM para situar la lógica que genera más calor más cerca del dispositivo de refrigeración. Esto puede favorecer la disipación térmica, pero quedan los siguientes desafíos.

• Estabilidad mecánica del pesado die lógico y del apilamiento de memoria
• Suministro eléctrico y cableado de señales
• Rendimiento de unión de dies fabricados mediante procesos diferentes
• Posibilidad de sustituir y probar dies defectuosos
• Diseño del paquete, incluida la placa de refrigeración

La competitividad del apilamiento vertical no puede determinarse solo a partir de un diagrama conceptual. Se necesitan resultados que midan la resistencia térmica, el ancho de banda efectivo, el rendimiento de fabricación y el coste total de propiedad.

¿Es la interconexión óptica una vía alternativa para evitar la dependencia de la memoria?

Para utilizar memoria y almacenamiento externos a la GPU, los datos deben recorrer una distancia mayor. Cuanto mayor es la distancia y la velocidad de transmisión de las señales eléctricas, más energía se requiere para corregir y retransmitir la señal. La interconexión óptica está llamando la atención como candidata para mejorar la densidad del ancho de banda y la energía de transmisión en conexiones de alta velocidad entre servidores, racks y clústeres.

Es difícil explicar la tendencia de NVIDIA a reforzar las redes ópticas únicamente como una estrategia para evitar la dependencia de una empresa de memoria concreta. La causa más directa es que, a medida que la escala de los aceleradores se amplía más allá de un solo servidor hacia racks y centros de datos completos, la red se convierte en el cuello de botella de todo el sistema de IA.

Las conexiones ópticas tampoco sustituyen a HBM. Es probable que HBM se encargue de la baja latencia inmediatamente junto al acelerador, mientras que las conexiones ópticas asuman la función de conectar pools de memoria más distantes y varios aceleradores.

Cómo la HBM personalizada transforma la industria de la memoria

La DRAM convencional de uso general se caracterizaba por suministrar productos con las mismas especificaciones a varios clientes. Como HBM requiere ajustar conjuntamente el paquete de la GPU, el interposer, el die base y el diseño energético y térmico, la proporción de codiseño entre el cliente y la empresa de memoria es mayor.

En la HBM personalizada o CHBM, pueden incorporarse al die base las siguientes funciones.

• Optimización del control y de la interfaz de memoria
• Corrección de errores y gestión de la fiabilidad
• Compresión de datos y control del movimiento
• Funciones de seguridad o virtualización
• Preprocesamiento y cálculo limitados de los datos

Esta estructura puede elevar a los proveedores de memoria desde simples fabricantes de componentes hasta codiseñadores de sistemas. Como el volumen y las especificaciones se negocian en las primeras etapas del desarrollo, también pueden aumentar los contratos a largo plazo y el efecto de dependencia del cliente.

Sin embargo, la personalización no elimina por completo el ciclo de la memoria. La velocidad de inversión en IA, la concentración de clientes, la capacidad de producción de empaquetado, el rendimiento de fabricación y el precio de la DRAM de uso general todavía pueden provocar variaciones en los resultados. También existe el riesgo de que un producto optimizado para un cliente específico sea difícil de vender a otros clientes cuando cambie la demanda.

¿Es correcta la interpretación de que el desarrollo de la GPU se ha detenido?

Es difícil afirmar que el desarrollo de la GPU prácticamente se haya detenido. Los aceleradores siguen evolucionando hacia formatos de cálculo de baja precisión, procesamiento de dispersión, motores específicos para Transformer, chiplets, redes y refrigeración.

Lo que ha cambiado son los criterios de evaluación. En lugar del máximo rendimiento de cálculo de un solo chip, han cobrado mayor importancia los siguientes indicadores.

• Ancho de banda efectivo de memoria alcanzado con modelos reales
• Latencia del primer token por usuario y velocidad de generación de tokens
• Número de tokens procesados por vatio
• Capacidad de memoria y ancho de banda de red por rack
• Coste total de prestar servicio con el modelo

La difusión de los modelos de código abierto tampoco ha igualado todas las capacidades de los modelos. Sin embargo, es cierto que, al permitir que varios operadores utilicen modelos similares, ha aumentado la importancia de la eficiencia operativa del hardware y de la capacidad de desplegar servicios.

Variables fáciles de pasar por alto: fiabilidad, seguridad y modelo de programación

El debate sobre la memoria de próxima generación se centra en el ancho de banda y la capacidad, pero existen otros factores que determinan su comercialización real.

Exactitud de los datos y vida útil

A medida que aumentan el apilamiento y la densidad de la memoria, adquieren mayor importancia el calor, la tasa de errores y la vida útil. En la inferencia de IA, la corrupción silenciosa de datos puede manifestarse como un resultado incorrecto en lugar de provocar una interrupción inmediata del sistema. La corrección de errores, la comprobación de la integridad de los datos y el aislamiento de fallos son tan importantes como el rendimiento.

Seguridad de la memoria compartida

Cuando varios aceleradores y clientes comparten un pool de memoria CXL o una caché externa, se necesitan aislamiento de datos, cifrado, permisos de acceso y eliminación de datos residuales. Cuanto mayor es la capacidad de memoria, mayor es también la cantidad de pesos del modelo y contextos de usuario que deben protegerse.

¿Pueden utilizarla los desarrolladores?

Aunque exista una nueva capa de memoria, su utilidad será baja si el compilador y el motor de inferencia no pueden decidir automáticamente la ubicación de los datos. Se necesita un runtime que gestione qué tensores y cachés KV deben colocarse en HBM, HBF, memoria CXL o SSD. En última instancia, la competencia de hardware se extiende a la competencia entre planificadores de memoria y software de sistemas.

¿Es un centro de datos de IA una fábrica de memoria?

Llamar «fábrica de memoria» a un centro de datos de IA a gran escala resulta útil como metáfora para destacar la importancia estratégica de la memoria. Esto se debe a que los pesos de los modelos, la caché KV, los datos de entrenamiento, los puntos de control y los índices de búsqueda se almacenan en distintas capas.

Sin embargo, carece de fundamento generalizar que un porcentaje fijo del coste de los centros de datos se destina siempre a la memoria y la energía. La composición de costes varía según la proporción entre entrenamiento e inferencia, el precio de la electricidad, la amortización de los servidores, la red, la refrigeración, la tasa de utilización y la eficiencia del modelo.

Una conclusión más precisa es la siguiente.

Los centros de datos de IA del futuro dejarán de ser meros lugares donde se instalan muchas GPU para convertirse en sistemas que colocan los datos en la capa de memoria más adecuada y los trasladan con el mínimo consumo energético.

Implicaciones para la industria surcoreana de semiconductores

Corea del Sur dispone de capacidad de fabricación a gran escala de HBM y memoria flash NAND, por lo que ocupa una posición importante en la transición hacia un enfoque centrado en la memoria. Sin embargo, el volumen de producción de memoria por sí solo difícilmente puede garantizar una ventaja a largo plazo.

Las estrategias necesarias son las siguientes.

1. Asegurar la capacidad de diseñar conjuntamente HBM, HBF y empaquetado avanzado.
2. Aumentar la proporción de diseño del die base, la IP de interfaz y los controladores de memoria.
3. Impulsar empresas de gestión térmica, semiconductores de potencia, interconexión óptica y sistemas para centros de datos.
4. Crear un ecosistema de software que permita a los compiladores y motores de inferencia utilizar eficientemente la memoria fabricada en Corea del Sur.
5. Asegurar casos de uso reales que conecten hardware, modelos de IA y servicios en smartphones, automóviles, robots y electrodomésticos.
6. Gestionar el riesgo de dependencia de clientes específicos o de una única cadena de suministro de empaquetado.

La posición de «ser un país sin el cual resulte difícil crear IA» no se consigue únicamente mediante el volumen de producción. Una posición industrial difícil de sustituir surge cuando se conectan estándares, activos de diseño, fabricación, empaquetado, software y servicios finales.

Perspectivas: jerarquización y codiseño, no sustitución

En lugar de considerar que los semiconductores para IA pasarán por completo de estar centrados en la GPU a estar centrados en la memoria, resulta más preciso ver este proceso como una difuminación de la frontera entre las unidades de cálculo y la memoria.

• HBM se encarga de los datos que deben utilizarse con mayor rapidez.
• HBF y la memoria CXL proporcionan una mayor capacidad.
• SSD se ocupa del almacenamiento a largo plazo y de los datos fríos.
• La interconexión óptica reduce el coste de conectar recursos distantes.
• Los dies base personalizados y PIM trasladan parte del cálculo cerca de los datos.
• El software de inferencia decide en qué capa debe situarse cada dato.

Es muy probable que el ganador de la infraestructura de IA de próxima generación no sea la empresa que fabrique la GPU individual más rápida, sino el ecosistema que optimice como un único sistema el cálculo, la memoria, la conectividad, la energía, la refrigeración y el software.