{"content_id":"htuvoxtoaw","slug":"memory-centric-ai-chips-hbm-hbf-packaging","locale":"es","schema_type":"TechArticle","category":"trends","category_name":"Tendencias","title":"De las GPU a la memoria: el cambio de paradigma de los semiconductores de IA","summary":"El cuello de botella de los sistemas de IA ya no reside solo en la capacidad de cálculo, sino que se está desplazando hacia la capacidad de almacenar y mover datos. Con la combinación de HBM, HBF basada en NAND, matrices base personalizadas, empaquetado 3D e interconexiones ópticas, cobra impulso la computación centrada en la memoria, que diseña conjuntamente los aceleradores y la memoria.","sponsorship_disclosure":null,"author":{"name":"Equipo editorial de Injoys","url":"https://injoys.com/ko/about"},"key_points":["La computación centrada en la memoria no busca eliminar las GPU, sino diseñar conjuntamente los procesadores y la jerarquía de memoria para reducir el coste del movimiento de datos.","El aumento de los contextos largos y de las solicitudes simultáneas amplía la capacidad necesaria de la caché KV, lo que vuelve importantes no solo el ancho de banda de HBM, sino también la capacidad total de memoria y las tecnologías de jerarquización.","HBF aprovecha la alta densidad de la memoria flash NAND, pero, debido a los problemas de latencia, vida útil de escritura y gestión de errores, es más probable que complemente a HBM en lugar de sustituirla directamente.","Las arquitecturas que apilan verticalmente la memoria encima o debajo de la GPU reducen la distancia del cableado, pero crean nuevas limitaciones relacionadas con la densidad térmica, el rendimiento de fabricación, el suministro eléctrico y la refrigeración.","La HBM personalizada amplía la participación de las empresas de memoria en el diseño, pero no elimina por sí misma las fluctuaciones de los precios de la memoria ni los ciclos de suministro."],"content_markdown":"Los criterios de competencia de los semiconductores para IA se están ampliando desde el simple número de operaciones hacia **cuántos datos pueden almacenarse y trasladarse con poca energía**. En la inferencia de IA a gran escala, se producen situaciones en las que la GPU queda a la espera, no porque no pueda realizar los cálculos, sino porque no recibe a tiempo los pesos del modelo y la caché KV necesarios.\n\nEste cambio suele describirse como una «transición de un enfoque centrado en la GPU a otro centrado en la memoria». Sin embargo, esto no significa que la GPU vaya a desaparecer o que su desarrollo se haya detenido. Más exactamente, la dirección consiste en codiseñar la GPU, HBM, la memoria externa, el almacenamiento, la red y el software como un único sistema de movimiento de datos.\n\n## Qué es la computación centrada en la memoria\n\n**La computación centrada en la memoria es un enfoque que toma la ubicación, el ancho de banda, la capacidad y las funciones de cálculo de la memoria como punto de partida del diseño del sistema para reducir el coste de transportar repetidamente los datos hasta la unidad de cálculo**.\n\nEl rendimiento aritmético de los chips de IA ha aumentado rápidamente, pero el proceso de obtener datos desde fuera del chip es relativamente lento y consume mucha energía. Por ello, las siguientes tecnologías han adquirido importancia de forma conjunta.\n\n- HBM situada cerca de la GPU o del acelerador de IA\n- Empaquetado 3D que conecta verticalmente la memoria y la lógica\n- HBM personalizada que incorpora funciones de control o parte del cálculo en el die base\n- Ampliación y agrupación de memoria mediante CXL\n- Concepto de HBF que conecta la memoria flash NAND mediante una interfaz amplia\n- Interconexiones ópticas destinadas a reducir la energía de transmisión entre chips y servidores\n- PIM y near-memory computing, que procesan los datos cerca de la memoria\n\nEs decir, la expresión «centrado en la memoria» no se refiere a un único producto de memoria específico. Es un principio de sistema que agrupa varias capas, desde la memoria rápida hasta los dispositivos de almacenamiento de gran capacidad, para minimizar el movimiento de datos.\n\n## Por qué la inferencia de IA agrava el cuello de botella de la memoria\n\n### Los pesos del modelo y la caché KV suponen cargas diferentes\n\nLa memoria necesaria para la inferencia de IA se divide principalmente en los pesos del modelo, las activaciones generadas durante la ejecución y la caché KV. Los pesos del modelo ocupan un tamaño fijo incluso cuando no hay solicitudes, mientras que la caché KV aumenta según la longitud de entrada, la longitud de salida y el número de solicitudes simultáneas.\n\nPara evitar recalcular desde el principio los tokens anteriores cada vez, los modelos Transformer almacenan en la caché KV la información de claves y valores de atención de cada capa. De forma simplificada, el tamaño de la caché KV de una solicitud es proporcional a los siguientes elementos.\n\nEl tamaño exacto de la caché KV debe comprobarse en la arquitectura y las especificaciones de implementación del modelo.\n\nEn la caché KV se almacenan por separado las claves y los valores. Por ello, cuando el contexto se alarga o aumenta el número de usuarios procesados simultáneamente, la caché KV crece con rapidez. No todos los modelos utilizan millones de tokens ni la caché aumenta uniformemente cientos de veces, pero está claro que la inferencia de textos largos y las tareas basadas en agentes elevan la presión sobre la memoria.\n\n### Las alucinaciones y la capacidad de memoria no son el mismo problema\n\nUn contexto más largo y la generación aumentada por recuperación pueden proporcionar más fundamentos al modelo. Sin embargo, aumentar la memoria por sí solo no elimina las alucinaciones. También son necesarios la calidad de los resultados de búsqueda, la composición del prompt, la capacidad de razonamiento del modelo, la verificación de las fuentes y un sistema de evaluación.\n\n### El software también reduce la demanda de memoria física\n\nEl cuello de botella de la caché KV no se resuelve únicamente ampliando el hardware.\n\n- MQA y GQA reducen el número de cabezas KV que deben almacenarse.\n- La cuantización reduce el número de bytes de los pesos y la caché.\n- PagedAttention gestiona la caché por páginas para mitigar la fragmentación y el desperdicio.\n- El batching continuo agrupa eficientemente varias solicitudes.\n- El almacenamiento en caché de prefijos reutiliza los prompts del sistema o los contextos comunes que se repiten.\n- La eliminación de caché y la descarga por capas trasladan la información menos importante a una memoria más lenta.\n\nPor tanto, la inversión real en memoria de un centro de datos depende no solo del tamaño del modelo, sino también de la eficiencia del motor de inferencia.\n\n## La jerarquía de memoria de los centros de datos de IA\n\nEs difícil que una sola memoria satisfaga simultáneamente las exigencias de velocidad, capacidad, precio y eficiencia energética. Es probable que los centros de datos de IA evolucionen hacia la siguiente estructura jerárquica.\n\n| Capa | Tecnología representativa | Ventaja | Principal limitación | Función prevista |\n|---|---|---|---|---|\n| Dentro del chip | SRAM, registros | La latencia más baja | Capacidad muy reducida y elevado coste de área | Datos de uso inmediato y valores intermedios del cálculo |\n| Junto al acelerador | HBM | Gran ancho de banda y latencia relativamente baja | Restricciones de capacidad, coste de empaquetado y temperatura | Pesos activos y caché KV de uso frecuente |\n| Memoria del servidor | DDR, memoria conectada mediante CXL | Mayor capacidad de ampliación que HBM | Más alejada del acelerador y con menor ancho de banda | Ampliación de caché, organización del modelo por capas y pool de memoria |\n| Flash de gran ancho de banda | Concepto de HBF | Alta densidad basada en NAND y no volatilidad | Latencia de lectura, vida útil de escritura y complejidad de control | Capa para pesos y caché KV de uso menos frecuente |\n| Almacenamiento | NVMe SSD | Gran capacidad y bajo coste por bit | Mayor latencia que la memoria | Puntos de control, conjuntos de datos y datos fríos |\n\nLa clave no es que HBM o HBF se imponga sobre la otra, sino distribuir varias capas según la frecuencia de uso de los datos.\n\n## La competencia de la memoria de próxima generación mostrada en FMS 2026\n\nFMS, celebrado en agosto de 2026 en Santa Clara, Estados Unidos, abordó como tema principal las estructuras de memoria y almacenamiento para IA posteriores a HBM. El debate se centró en un mayor apilamiento, capas de gran capacidad basadas en NAND, memoria personalizada y tecnologías de conexión para centros de datos.\n\nGHBM de Samsung Electronics y HBF, debatida por SK hynix con Google y SanDisk, se presentaron como ejemplos de esta dirección. Sin embargo, es difícil afirmar que denominaciones como GHBM, HBF y THBM sean todas nombres genéricos de generaciones con especificaciones idénticas ya definidas por JEDEC. Es necesario distinguir entre tecnologías en fase de presentación por parte de las empresas, conceptos de desarrollo conjunto y productos comerciales estandarizados.\n\nAdemás, una generación con una denominación superior no hace necesariamente que el servicio de IA sea más rápido en la práctica. Deben compararse conjuntamente el ancho de banda efectivo, la capacidad de memoria, la latencia, la energía, la refrigeración, el rendimiento de fabricación del paquete y la compatibilidad de software.\n\n## Ventajas y límites de capacidad de HBM\n\nHBM apila verticalmente varios dies de DRAM y los conecta mediante vías a través del silicio y una interfaz amplia. Su principal ventaja es que puede suministrar en paralelo una gran cantidad de datos desde una posición más cercana al acelerador que la memoria convencional instalada en placa.\n\nSin embargo, es difícil aumentar indefinidamente la capacidad de HBM.\n\n1. A medida que aumenta el número de capas, se elevan la dificultad del rendimiento de fabricación y de las pruebas.\n2. Aumenta el área del paquete donde se colocan conjuntamente la GPU y HBM.\n3. El calor generado por el acelerador y la memoria debe eliminarse en un espacio reducido.\n4. La red de suministro eléctrico y el cableado del interposer también se vuelven más complejos.\n5. Utilizar la costosa HBM para almacenar incluso datos de baja frecuencia de uso reduce la rentabilidad.\n\nPor ello, cobra importancia una jerarquización en la que HBM se encargue de los datos utilizados con mayor frecuencia y el resto se transfiera a memoria CXL, flash o SSD.\n\n## ¿Puede HBF sustituir a HBM?\n\nHBF es la abreviatura de High Bandwidth Flash y constituye un concepto destinado a paralelizar y apilar memoria flash NAND para crear una capa de memoria de gran ancho de banda más cercana al acelerador que los SSD convencionales. Como NAND ofrece mayor densidad y no volatilidad que DRAM, permite albergar más datos en el mismo espacio físico.\n\nSin embargo, NAND tiene características diferentes a DRAM.\n\n- La latencia de lectura es mayor.\n- Requiere un proceso de borrado antes de sobrescribir.\n- Es necesario gestionar la vida útil en función del número de escrituras.\n- Requiere gestión de bloques defectuosos, corrección de errores y wear leveling.\n- Resulta más adecuada para accesos secuenciales en unidades grandes que para accesos irregulares en unidades pequeñas.\n\nPor tanto, aunque HBF se comercialice, es más probable que funcione como una **capa de gran capacidad entre HBM y SSD** que como un reemplazo directo de HBM. Entre sus posibles usos se encuentran los pesos de modelos centrados en la lectura, las cachés con una baja frecuencia de reutilización, los puntos de control y los datos de búsqueda. Su idoneidad real dependerá del estándar de interfaz, la latencia, la durabilidad y la compatibilidad del controlador y del software de inferencia.\n\n## El problema del empaquetado 3D planteado por GHBM y THBM\n\nEl método de colocar el acelerador y HBM en paralelo, uno junto al otro dentro del paquete, presenta límites en la anchura de la conexión y el área del paquete. Para superarlos, han surgido conceptos que apilan verticalmente la lógica y la memoria para reducir la longitud del cableado.\n\n### Estructura que coloca la memoria sobre la GPU\n\nEl concepto presentado como GHBM o HBM en el eje Z busca reducir la distancia de movimiento de los datos mediante la integración vertical de la GPU y HBM. Las numerosas conexiones verticales cortas permiten esperar un gran ancho de banda y un bajo consumo energético de entrada y salida.\n\nEl problema es el calor. Si la memoria se coloca sobre la GPU, el calor generado por esta puede atravesar el espacio entre la memoria y el dispositivo de refrigeración. La expresión «la memoria se derrite» es más bien una metáfora para destacar el problema térmico que una explicación técnica. Los riesgos reales son superar la temperatura permitida de las uniones y la memoria, el aumento de la corriente de fuga, la limitación del rendimiento y la reducción de la vida útil.\n\n### Estructura con la memoria debajo y la GPU encima\n\nTHBM, que según se ha informado fue propuesta por el equipo del profesor Kim Jeong-ho de KAIST, parte de la idea de colocar la GPU sobre la pila de HBM para situar la lógica que genera más calor más cerca del dispositivo de refrigeración. Esto puede favorecer la disipación térmica, pero quedan los siguientes desafíos.\n\n- Estabilidad mecánica del pesado die lógico y del apilamiento de memoria\n- Suministro eléctrico y cableado de señales\n- Rendimiento de unión de dies fabricados mediante procesos diferentes\n- Posibilidad de sustituir y probar dies defectuosos\n- Diseño del paquete, incluida la placa de refrigeración\n\nLa competitividad del apilamiento vertical no puede determinarse solo a partir de un diagrama conceptual. Se necesitan resultados que midan la resistencia térmica, el ancho de banda efectivo, el rendimiento de fabricación y el coste total de propiedad.\n\n## ¿Es la interconexión óptica una vía alternativa para evitar la dependencia de la memoria?\n\nPara utilizar memoria y almacenamiento externos a la GPU, los datos deben recorrer una distancia mayor. Cuanto mayor es la distancia y la velocidad de transmisión de las señales eléctricas, más energía se requiere para corregir y retransmitir la señal. La interconexión óptica está llamando la atención como candidata para mejorar la densidad del ancho de banda y la energía de transmisión en conexiones de alta velocidad entre servidores, racks y clústeres.\n\nEs difícil explicar la tendencia de NVIDIA a reforzar las redes ópticas únicamente como una estrategia para evitar la dependencia de una empresa de memoria concreta. La causa más directa es que, a medida que la escala de los aceleradores se amplía más allá de un solo servidor hacia racks y centros de datos completos, la red se convierte en el cuello de botella de todo el sistema de IA.\n\nLas conexiones ópticas tampoco sustituyen a HBM. Es probable que HBM se encargue de la baja latencia inmediatamente junto al acelerador, mientras que las conexiones ópticas asuman la función de conectar pools de memoria más distantes y varios aceleradores.\n\n## Cómo la HBM personalizada transforma la industria de la memoria\n\nLa DRAM convencional de uso general se caracterizaba por suministrar productos con las mismas especificaciones a varios clientes. Como HBM requiere ajustar conjuntamente el paquete de la GPU, el interposer, el die base y el diseño energético y térmico, la proporción de codiseño entre el cliente y la empresa de memoria es mayor.\n\nEn la HBM personalizada o CHBM, pueden incorporarse al die base las siguientes funciones.\n\n- Optimización del control y de la interfaz de memoria\n- Corrección de errores y gestión de la fiabilidad\n- Compresión de datos y control del movimiento\n- Funciones de seguridad o virtualización\n- Preprocesamiento y cálculo limitados de los datos\n\nEsta estructura puede elevar a los proveedores de memoria desde simples fabricantes de componentes hasta codiseñadores de sistemas. Como el volumen y las especificaciones se negocian en las primeras etapas del desarrollo, también pueden aumentar los contratos a largo plazo y el efecto de dependencia del cliente.\n\nSin embargo, la personalización no elimina por completo el ciclo de la memoria. La velocidad de inversión en IA, la concentración de clientes, la capacidad de producción de empaquetado, el rendimiento de fabricación y el precio de la DRAM de uso general todavía pueden provocar variaciones en los resultados. También existe el riesgo de que un producto optimizado para un cliente específico sea difícil de vender a otros clientes cuando cambie la demanda.\n\n## ¿Es correcta la interpretación de que el desarrollo de la GPU se ha detenido?\n\nEs difícil afirmar que el desarrollo de la GPU prácticamente se haya detenido. Los aceleradores siguen evolucionando hacia formatos de cálculo de baja precisión, procesamiento de dispersión, motores específicos para Transformer, chiplets, redes y refrigeración.\n\nLo que ha cambiado son los criterios de evaluación. En lugar del máximo rendimiento de cálculo de un solo chip, han cobrado mayor importancia los siguientes indicadores.\n\n- Ancho de banda efectivo de memoria alcanzado con modelos reales\n- Latencia del primer token por usuario y velocidad de generación de tokens\n- Número de tokens procesados por vatio\n- Capacidad de memoria y ancho de banda de red por rack\n- Coste total de prestar servicio con el modelo\n\nLa difusión de los modelos de código abierto tampoco ha igualado todas las capacidades de los modelos. Sin embargo, es cierto que, al permitir que varios operadores utilicen modelos similares, ha aumentado la importancia de la eficiencia operativa del hardware y de la capacidad de desplegar servicios.\n\n## Variables fáciles de pasar por alto: fiabilidad, seguridad y modelo de programación\n\nEl debate sobre la memoria de próxima generación se centra en el ancho de banda y la capacidad, pero existen otros factores que determinan su comercialización real.\n\n### Exactitud de los datos y vida útil\n\nA medida que aumentan el apilamiento y la densidad de la memoria, adquieren mayor importancia el calor, la tasa de errores y la vida útil. En la inferencia de IA, la corrupción silenciosa de datos puede manifestarse como un resultado incorrecto en lugar de provocar una interrupción inmediata del sistema. La corrección de errores, la comprobación de la integridad de los datos y el aislamiento de fallos son tan importantes como el rendimiento.\n\n### Seguridad de la memoria compartida\n\nCuando varios aceleradores y clientes comparten un pool de memoria CXL o una caché externa, se necesitan aislamiento de datos, cifrado, permisos de acceso y eliminación de datos residuales. Cuanto mayor es la capacidad de memoria, mayor es también la cantidad de pesos del modelo y contextos de usuario que deben protegerse.\n\n### ¿Pueden utilizarla los desarrolladores?\n\nAunque exista una nueva capa de memoria, su utilidad será baja si el compilador y el motor de inferencia no pueden decidir automáticamente la ubicación de los datos. Se necesita un runtime que gestione qué tensores y cachés KV deben colocarse en HBM, HBF, memoria CXL o SSD. En última instancia, la competencia de hardware se extiende a la competencia entre planificadores de memoria y software de sistemas.\n\n## ¿Es un centro de datos de IA una fábrica de memoria?\n\nLlamar «fábrica de memoria» a un centro de datos de IA a gran escala resulta útil como metáfora para destacar la importancia estratégica de la memoria. Esto se debe a que los pesos de los modelos, la caché KV, los datos de entrenamiento, los puntos de control y los índices de búsqueda se almacenan en distintas capas.\n\nSin embargo, carece de fundamento generalizar que un porcentaje fijo del coste de los centros de datos se destina siempre a la memoria y la energía. La composición de costes varía según la proporción entre entrenamiento e inferencia, el precio de la electricidad, la amortización de los servidores, la red, la refrigeración, la tasa de utilización y la eficiencia del modelo.\n\nUna conclusión más precisa es la siguiente.\n\n\u003e Los centros de datos de IA del futuro dejarán de ser meros lugares donde se instalan muchas GPU para convertirse en sistemas que colocan los datos en la capa de memoria más adecuada y los trasladan con el mínimo consumo energético.\n\n## Implicaciones para la industria surcoreana de semiconductores\n\nCorea del Sur dispone de capacidad de fabricación a gran escala de HBM y memoria flash NAND, por lo que ocupa una posición importante en la transición hacia un enfoque centrado en la memoria. Sin embargo, el volumen de producción de memoria por sí solo difícilmente puede garantizar una ventaja a largo plazo.\n\nLas estrategias necesarias son las siguientes.\n\n1. Asegurar la capacidad de diseñar conjuntamente HBM, HBF y empaquetado avanzado.\n2. Aumentar la proporción de diseño del die base, la IP de interfaz y los controladores de memoria.\n3. Impulsar empresas de gestión térmica, semiconductores de potencia, interconexión óptica y sistemas para centros de datos.\n4. Crear un ecosistema de software que permita a los compiladores y motores de inferencia utilizar eficientemente la memoria fabricada en Corea del Sur.\n5. Asegurar casos de uso reales que conecten hardware, modelos de IA y servicios en smartphones, automóviles, robots y electrodomésticos.\n6. Gestionar el riesgo de dependencia de clientes específicos o de una única cadena de suministro de empaquetado.\n\nLa posición de «ser un país sin el cual resulte difícil crear IA» no se consigue únicamente mediante el volumen de producción. Una posición industrial difícil de sustituir surge cuando se conectan estándares, activos de diseño, fabricación, empaquetado, software y servicios finales.\n\n## Perspectivas: jerarquización y codiseño, no sustitución\n\nEn lugar de considerar que los semiconductores para IA pasarán por completo de estar centrados en la GPU a estar centrados en la memoria, resulta más preciso ver este proceso como una difuminación de la frontera entre las unidades de cálculo y la memoria.\n\n- HBM se encarga de los datos que deben utilizarse con mayor rapidez.\n- HBF y la memoria CXL proporcionan una mayor capacidad.\n- SSD se ocupa del almacenamiento a largo plazo y de los datos fríos.\n- La interconexión óptica reduce el coste de conectar recursos distantes.\n- Los dies base personalizados y PIM trasladan parte del cálculo cerca de los datos.\n- El software de inferencia decide en qué capa debe situarse cada dato.\n\nEs muy probable que el ganador de la infraestructura de IA de próxima generación no sea la empresa que fabrique la GPU individual más rápida, sino el ecosistema que optimice como un único sistema el cálculo, la memoria, la conectividad, la energía, la refrigeración y el software.","content_html":"\u003cp\u003eLos criterios de competencia de los semiconductores para IA se están ampliando desde el simple número de operaciones hacia \u003cstrong\u003ecuántos datos pueden almacenarse y trasladarse con poca energía\u003c/strong\u003e. En la inferencia de IA a gran escala, se producen situaciones en las que la GPU queda a la espera, no porque no pueda realizar los cálculos, sino porque no recibe a tiempo los pesos del modelo y la caché KV necesarios.\u003c/p\u003e\n\u003cp\u003eEste cambio suele describirse como una «transición de un enfoque centrado en la GPU a otro centrado en la memoria». Sin embargo, esto no significa que la GPU vaya a desaparecer o que su desarrollo se haya detenido. Más exactamente, la dirección consiste en codiseñar la GPU, HBM, la memoria externa, el almacenamiento, la red y el software como un único sistema de movimiento de datos.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#qu%C3%A9-es-la-computaci%C3%B3n-centrada-en-la-memoria\" class=\"anchor\" id=\"qué-es-la-computación-centrada-en-la-memoria\"\u003e\u003c/a\u003eQué es la computación centrada en la memoria\u003c/h2\u003e\n\u003cp\u003e\u003cstrong\u003eLa computación centrada en la memoria es un enfoque que toma la ubicación, el ancho de banda, la capacidad y las funciones de cálculo de la memoria como punto de partida del diseño del sistema para reducir el coste de transportar repetidamente los datos hasta la unidad de cálculo\u003c/strong\u003e.\u003c/p\u003e\n\u003cp\u003eEl rendimiento aritmético de los chips de IA ha aumentado rápidamente, pero el proceso de obtener datos desde fuera del chip es relativamente lento y consume mucha energía. Por ello, las siguientes tecnologías han adquirido importancia de forma conjunta.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eHBM situada cerca de la GPU o del acelerador de IA\u003c/li\u003e\n\u003cli\u003eEmpaquetado 3D que conecta verticalmente la memoria y la lógica\u003c/li\u003e\n\u003cli\u003eHBM personalizada que incorpora funciones de control o parte del cálculo en el die base\u003c/li\u003e\n\u003cli\u003eAmpliación y agrupación de memoria mediante CXL\u003c/li\u003e\n\u003cli\u003eConcepto de HBF que conecta la memoria flash NAND mediante una interfaz amplia\u003c/li\u003e\n\u003cli\u003eInterconexiones ópticas destinadas a reducir la energía de transmisión entre chips y servidores\u003c/li\u003e\n\u003cli\u003ePIM y near-memory computing, que procesan los datos cerca de la memoria\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eEs decir, la expresión «centrado en la memoria» no se refiere a un único producto de memoria específico. Es un principio de sistema que agrupa varias capas, desde la memoria rápida hasta los dispositivos de almacenamiento de gran capacidad, para minimizar el movimiento de datos.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#por-qu%C3%A9-la-inferencia-de-ia-agrava-el-cuello-de-botella-de-la-memoria\" class=\"anchor\" id=\"por-qué-la-inferencia-de-ia-agrava-el-cuello-de-botella-de-la-memoria\"\u003e\u003c/a\u003ePor qué la inferencia de IA agrava el cuello de botella de la memoria\u003c/h2\u003e\n\u003ch3\u003e\n\u003ca href=\"#los-pesos-del-modelo-y-la-cach%C3%A9-kv-suponen-cargas-diferentes\" class=\"anchor\" id=\"los-pesos-del-modelo-y-la-caché-kv-suponen-cargas-diferentes\"\u003e\u003c/a\u003eLos pesos del modelo y la caché KV suponen cargas diferentes\u003c/h3\u003e\n\u003cp\u003eLa memoria necesaria para la inferencia de IA se divide principalmente en los pesos del modelo, las activaciones generadas durante la ejecución y la caché KV. Los pesos del modelo ocupan un tamaño fijo incluso cuando no hay solicitudes, mientras que la caché KV aumenta según la longitud de entrada, la longitud de salida y el número de solicitudes simultáneas.\u003c/p\u003e\n\u003cp\u003ePara evitar recalcular desde el principio los tokens anteriores cada vez, los modelos Transformer almacenan en la caché KV la información de claves y valores de atención de cada capa. De forma simplificada, el tamaño de la caché KV de una solicitud es proporcional a los siguientes elementos.\u003c/p\u003e\n\u003cp\u003eEl tamaño exacto de la caché KV debe comprobarse en la arquitectura y las especificaciones de implementación del modelo.\u003c/p\u003e\n\u003cp\u003eEn la caché KV se almacenan por separado las claves y los valores. Por ello, cuando el contexto se alarga o aumenta el número de usuarios procesados simultáneamente, la caché KV crece con rapidez. No todos los modelos utilizan millones de tokens ni la caché aumenta uniformemente cientos de veces, pero está claro que la inferencia de textos largos y las tareas basadas en agentes elevan la presión sobre la memoria.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#las-alucinaciones-y-la-capacidad-de-memoria-no-son-el-mismo-problema\" class=\"anchor\" id=\"las-alucinaciones-y-la-capacidad-de-memoria-no-son-el-mismo-problema\"\u003e\u003c/a\u003eLas alucinaciones y la capacidad de memoria no son el mismo problema\u003c/h3\u003e\n\u003cp\u003eUn contexto más largo y la generación aumentada por recuperación pueden proporcionar más fundamentos al modelo. Sin embargo, aumentar la memoria por sí solo no elimina las alucinaciones. También son necesarios la calidad de los resultados de búsqueda, la composición del prompt, la capacidad de razonamiento del modelo, la verificación de las fuentes y un sistema de evaluación.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#el-software-tambi%C3%A9n-reduce-la-demanda-de-memoria-f%C3%ADsica\" class=\"anchor\" id=\"el-software-también-reduce-la-demanda-de-memoria-física\"\u003e\u003c/a\u003eEl software también reduce la demanda de memoria física\u003c/h3\u003e\n\u003cp\u003eEl cuello de botella de la caché KV no se resuelve únicamente ampliando el hardware.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eMQA y GQA reducen el número de cabezas KV que deben almacenarse.\u003c/li\u003e\n\u003cli\u003eLa cuantización reduce el número de bytes de los pesos y la caché.\u003c/li\u003e\n\u003cli\u003ePagedAttention gestiona la caché por páginas para mitigar la fragmentación y el desperdicio.\u003c/li\u003e\n\u003cli\u003eEl batching continuo agrupa eficientemente varias solicitudes.\u003c/li\u003e\n\u003cli\u003eEl almacenamiento en caché de prefijos reutiliza los prompts del sistema o los contextos comunes que se repiten.\u003c/li\u003e\n\u003cli\u003eLa eliminación de caché y la descarga por capas trasladan la información menos importante a una memoria más lenta.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003ePor tanto, la inversión real en memoria de un centro de datos depende no solo del tamaño del modelo, sino también de la eficiencia del motor de inferencia.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#la-jerarqu%C3%ADa-de-memoria-de-los-centros-de-datos-de-ia\" class=\"anchor\" id=\"la-jerarquía-de-memoria-de-los-centros-de-datos-de-ia\"\u003e\u003c/a\u003eLa jerarquía de memoria de los centros de datos de IA\u003c/h2\u003e\n\u003cp\u003eEs difícil que una sola memoria satisfaga simultáneamente las exigencias de velocidad, capacidad, precio y eficiencia energética. Es probable que los centros de datos de IA evolucionen hacia la siguiente estructura jerárquica.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eCapa\u003c/th\u003e\n\u003cth\u003eTecnología representativa\u003c/th\u003e\n\u003cth\u003eVentaja\u003c/th\u003e\n\u003cth\u003ePrincipal limitación\u003c/th\u003e\n\u003cth\u003eFunción prevista\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Capa\"\u003eDentro del chip\u003c/td\u003e\n\u003ctd data-label=\"Tecnología representativa\"\u003eSRAM, registros\u003c/td\u003e\n\u003ctd data-label=\"Ventaja\"\u003eLa latencia más baja\u003c/td\u003e\n\u003ctd data-label=\"Principal limitación\"\u003eCapacidad muy reducida y elevado coste de área\u003c/td\u003e\n\u003ctd data-label=\"Función prevista\"\u003eDatos de uso inmediato y valores intermedios del cálculo\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Capa\"\u003eJunto al acelerador\u003c/td\u003e\n\u003ctd data-label=\"Tecnología representativa\"\u003eHBM\u003c/td\u003e\n\u003ctd data-label=\"Ventaja\"\u003eGran ancho de banda y latencia relativamente baja\u003c/td\u003e\n\u003ctd data-label=\"Principal limitación\"\u003eRestricciones de capacidad, coste de empaquetado y temperatura\u003c/td\u003e\n\u003ctd data-label=\"Función prevista\"\u003ePesos activos y caché KV de uso frecuente\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Capa\"\u003eMemoria del servidor\u003c/td\u003e\n\u003ctd data-label=\"Tecnología representativa\"\u003eDDR, memoria conectada mediante CXL\u003c/td\u003e\n\u003ctd data-label=\"Ventaja\"\u003eMayor capacidad de ampliación que HBM\u003c/td\u003e\n\u003ctd data-label=\"Principal limitación\"\u003eMás alejada del acelerador y con menor ancho de banda\u003c/td\u003e\n\u003ctd data-label=\"Función prevista\"\u003eAmpliación de caché, organización del modelo por capas y pool de memoria\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Capa\"\u003eFlash de gran ancho de banda\u003c/td\u003e\n\u003ctd data-label=\"Tecnología representativa\"\u003eConcepto de HBF\u003c/td\u003e\n\u003ctd data-label=\"Ventaja\"\u003eAlta densidad basada en NAND y no volatilidad\u003c/td\u003e\n\u003ctd data-label=\"Principal limitación\"\u003eLatencia de lectura, vida útil de escritura y complejidad de control\u003c/td\u003e\n\u003ctd data-label=\"Función prevista\"\u003eCapa para pesos y caché KV de uso menos frecuente\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Capa\"\u003eAlmacenamiento\u003c/td\u003e\n\u003ctd data-label=\"Tecnología representativa\"\u003eNVMe SSD\u003c/td\u003e\n\u003ctd data-label=\"Ventaja\"\u003eGran capacidad y bajo coste por bit\u003c/td\u003e\n\u003ctd data-label=\"Principal limitación\"\u003eMayor latencia que la memoria\u003c/td\u003e\n\u003ctd data-label=\"Función prevista\"\u003ePuntos de control, conjuntos de datos y datos fríos\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eLa clave no es que HBM o HBF se imponga sobre la otra, sino distribuir varias capas según la frecuencia de uso de los datos.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#la-competencia-de-la-memoria-de-pr%C3%B3xima-generaci%C3%B3n-mostrada-en-fms-2026\" class=\"anchor\" id=\"la-competencia-de-la-memoria-de-próxima-generación-mostrada-en-fms-2026\"\u003e\u003c/a\u003eLa competencia de la memoria de próxima generación mostrada en FMS 2026\u003c/h2\u003e\n\u003cp\u003eFMS, celebrado en agosto de 2026 en Santa Clara, Estados Unidos, abordó como tema principal las estructuras de memoria y almacenamiento para IA posteriores a HBM. El debate se centró en un mayor apilamiento, capas de gran capacidad basadas en NAND, memoria personalizada y tecnologías de conexión para centros de datos.\u003c/p\u003e\n\u003cp\u003eGHBM de Samsung Electronics y HBF, debatida por SK hynix con Google y SanDisk, se presentaron como ejemplos de esta dirección. Sin embargo, es difícil afirmar que denominaciones como GHBM, HBF y THBM sean todas nombres genéricos de generaciones con especificaciones idénticas ya definidas por JEDEC. Es necesario distinguir entre tecnologías en fase de presentación por parte de las empresas, conceptos de desarrollo conjunto y productos comerciales estandarizados.\u003c/p\u003e\n\u003cp\u003eAdemás, una generación con una denominación superior no hace necesariamente que el servicio de IA sea más rápido en la práctica. Deben compararse conjuntamente el ancho de banda efectivo, la capacidad de memoria, la latencia, la energía, la refrigeración, el rendimiento de fabricación del paquete y la compatibilidad de software.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#ventajas-y-l%C3%ADmites-de-capacidad-de-hbm\" class=\"anchor\" id=\"ventajas-y-límites-de-capacidad-de-hbm\"\u003e\u003c/a\u003eVentajas y límites de capacidad de HBM\u003c/h2\u003e\n\u003cp\u003eHBM apila verticalmente varios dies de DRAM y los conecta mediante vías a través del silicio y una interfaz amplia. Su principal ventaja es que puede suministrar en paralelo una gran cantidad de datos desde una posición más cercana al acelerador que la memoria convencional instalada en placa.\u003c/p\u003e\n\u003cp\u003eSin embargo, es difícil aumentar indefinidamente la capacidad de HBM.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003eA medida que aumenta el número de capas, se elevan la dificultad del rendimiento de fabricación y de las pruebas.\u003c/li\u003e\n\u003cli\u003eAumenta el área del paquete donde se colocan conjuntamente la GPU y HBM.\u003c/li\u003e\n\u003cli\u003eEl calor generado por el acelerador y la memoria debe eliminarse en un espacio reducido.\u003c/li\u003e\n\u003cli\u003eLa red de suministro eléctrico y el cableado del interposer también se vuelven más complejos.\u003c/li\u003e\n\u003cli\u003eUtilizar la costosa HBM para almacenar incluso datos de baja frecuencia de uso reduce la rentabilidad.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003ePor ello, cobra importancia una jerarquización en la que HBM se encargue de los datos utilizados con mayor frecuencia y el resto se transfiera a memoria CXL, flash o SSD.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#puede-hbf-sustituir-a-hbm\" class=\"anchor\" id=\"puede-hbf-sustituir-a-hbm\"\u003e\u003c/a\u003e¿Puede HBF sustituir a HBM?\u003c/h2\u003e\n\u003cp\u003eHBF es la abreviatura de High Bandwidth Flash y constituye un concepto destinado a paralelizar y apilar memoria flash NAND para crear una capa de memoria de gran ancho de banda más cercana al acelerador que los SSD convencionales. Como NAND ofrece mayor densidad y no volatilidad que DRAM, permite albergar más datos en el mismo espacio físico.\u003c/p\u003e\n\u003cp\u003eSin embargo, NAND tiene características diferentes a DRAM.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eLa latencia de lectura es mayor.\u003c/li\u003e\n\u003cli\u003eRequiere un proceso de borrado antes de sobrescribir.\u003c/li\u003e\n\u003cli\u003eEs necesario gestionar la vida útil en función del número de escrituras.\u003c/li\u003e\n\u003cli\u003eRequiere gestión de bloques defectuosos, corrección de errores y wear leveling.\u003c/li\u003e\n\u003cli\u003eResulta más adecuada para accesos secuenciales en unidades grandes que para accesos irregulares en unidades pequeñas.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003ePor tanto, aunque HBF se comercialice, es más probable que funcione como una \u003cstrong\u003ecapa de gran capacidad entre HBM y SSD\u003c/strong\u003e que como un reemplazo directo de HBM. Entre sus posibles usos se encuentran los pesos de modelos centrados en la lectura, las cachés con una baja frecuencia de reutilización, los puntos de control y los datos de búsqueda. Su idoneidad real dependerá del estándar de interfaz, la latencia, la durabilidad y la compatibilidad del controlador y del software de inferencia.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#el-problema-del-empaquetado-3d-planteado-por-ghbm-y-thbm\" class=\"anchor\" id=\"el-problema-del-empaquetado-3d-planteado-por-ghbm-y-thbm\"\u003e\u003c/a\u003eEl problema del empaquetado 3D planteado por GHBM y THBM\u003c/h2\u003e\n\u003cp\u003eEl método de colocar el acelerador y HBM en paralelo, uno junto al otro dentro del paquete, presenta límites en la anchura de la conexión y el área del paquete. Para superarlos, han surgido conceptos que apilan verticalmente la lógica y la memoria para reducir la longitud del cableado.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#estructura-que-coloca-la-memoria-sobre-la-gpu\" class=\"anchor\" id=\"estructura-que-coloca-la-memoria-sobre-la-gpu\"\u003e\u003c/a\u003eEstructura que coloca la memoria sobre la GPU\u003c/h3\u003e\n\u003cp\u003eEl concepto presentado como GHBM o HBM en el eje Z busca reducir la distancia de movimiento de los datos mediante la integración vertical de la GPU y HBM. Las numerosas conexiones verticales cortas permiten esperar un gran ancho de banda y un bajo consumo energético de entrada y salida.\u003c/p\u003e\n\u003cp\u003eEl problema es el calor. Si la memoria se coloca sobre la GPU, el calor generado por esta puede atravesar el espacio entre la memoria y el dispositivo de refrigeración. La expresión «la memoria se derrite» es más bien una metáfora para destacar el problema térmico que una explicación técnica. Los riesgos reales son superar la temperatura permitida de las uniones y la memoria, el aumento de la corriente de fuga, la limitación del rendimiento y la reducción de la vida útil.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#estructura-con-la-memoria-debajo-y-la-gpu-encima\" class=\"anchor\" id=\"estructura-con-la-memoria-debajo-y-la-gpu-encima\"\u003e\u003c/a\u003eEstructura con la memoria debajo y la GPU encima\u003c/h3\u003e\n\u003cp\u003eTHBM, que según se ha informado fue propuesta por el equipo del profesor Kim Jeong-ho de KAIST, parte de la idea de colocar la GPU sobre la pila de HBM para situar la lógica que genera más calor más cerca del dispositivo de refrigeración. Esto puede favorecer la disipación térmica, pero quedan los siguientes desafíos.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eEstabilidad mecánica del pesado die lógico y del apilamiento de memoria\u003c/li\u003e\n\u003cli\u003eSuministro eléctrico y cableado de señales\u003c/li\u003e\n\u003cli\u003eRendimiento de unión de dies fabricados mediante procesos diferentes\u003c/li\u003e\n\u003cli\u003ePosibilidad de sustituir y probar dies defectuosos\u003c/li\u003e\n\u003cli\u003eDiseño del paquete, incluida la placa de refrigeración\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eLa competitividad del apilamiento vertical no puede determinarse solo a partir de un diagrama conceptual. Se necesitan resultados que midan la resistencia térmica, el ancho de banda efectivo, el rendimiento de fabricación y el coste total de propiedad.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#es-la-interconexi%C3%B3n-%C3%B3ptica-una-v%C3%ADa-alternativa-para-evitar-la-dependencia-de-la-memoria\" class=\"anchor\" id=\"es-la-interconexión-óptica-una-vía-alternativa-para-evitar-la-dependencia-de-la-memoria\"\u003e\u003c/a\u003e¿Es la interconexión óptica una vía alternativa para evitar la dependencia de la memoria?\u003c/h2\u003e\n\u003cp\u003ePara utilizar memoria y almacenamiento externos a la GPU, los datos deben recorrer una distancia mayor. Cuanto mayor es la distancia y la velocidad de transmisión de las señales eléctricas, más energía se requiere para corregir y retransmitir la señal. La interconexión óptica está llamando la atención como candidata para mejorar la densidad del ancho de banda y la energía de transmisión en conexiones de alta velocidad entre servidores, racks y clústeres.\u003c/p\u003e\n\u003cp\u003eEs difícil explicar la tendencia de NVIDIA a reforzar las redes ópticas únicamente como una estrategia para evitar la dependencia de una empresa de memoria concreta. La causa más directa es que, a medida que la escala de los aceleradores se amplía más allá de un solo servidor hacia racks y centros de datos completos, la red se convierte en el cuello de botella de todo el sistema de IA.\u003c/p\u003e\n\u003cp\u003eLas conexiones ópticas tampoco sustituyen a HBM. Es probable que HBM se encargue de la baja latencia inmediatamente junto al acelerador, mientras que las conexiones ópticas asuman la función de conectar pools de memoria más distantes y varios aceleradores.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#c%C3%B3mo-la-hbm-personalizada-transforma-la-industria-de-la-memoria\" class=\"anchor\" id=\"cómo-la-hbm-personalizada-transforma-la-industria-de-la-memoria\"\u003e\u003c/a\u003eCómo la HBM personalizada transforma la industria de la memoria\u003c/h2\u003e\n\u003cp\u003eLa DRAM convencional de uso general se caracterizaba por suministrar productos con las mismas especificaciones a varios clientes. Como HBM requiere ajustar conjuntamente el paquete de la GPU, el interposer, el die base y el diseño energético y térmico, la proporción de codiseño entre el cliente y la empresa de memoria es mayor.\u003c/p\u003e\n\u003cp\u003eEn la HBM personalizada o CHBM, pueden incorporarse al die base las siguientes funciones.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eOptimización del control y de la interfaz de memoria\u003c/li\u003e\n\u003cli\u003eCorrección de errores y gestión de la fiabilidad\u003c/li\u003e\n\u003cli\u003eCompresión de datos y control del movimiento\u003c/li\u003e\n\u003cli\u003eFunciones de seguridad o virtualización\u003c/li\u003e\n\u003cli\u003ePreprocesamiento y cálculo limitados de los datos\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eEsta estructura puede elevar a los proveedores de memoria desde simples fabricantes de componentes hasta codiseñadores de sistemas. Como el volumen y las especificaciones se negocian en las primeras etapas del desarrollo, también pueden aumentar los contratos a largo plazo y el efecto de dependencia del cliente.\u003c/p\u003e\n\u003cp\u003eSin embargo, la personalización no elimina por completo el ciclo de la memoria. La velocidad de inversión en IA, la concentración de clientes, la capacidad de producción de empaquetado, el rendimiento de fabricación y el precio de la DRAM de uso general todavía pueden provocar variaciones en los resultados. También existe el riesgo de que un producto optimizado para un cliente específico sea difícil de vender a otros clientes cuando cambie la demanda.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#es-correcta-la-interpretaci%C3%B3n-de-que-el-desarrollo-de-la-gpu-se-ha-detenido\" class=\"anchor\" id=\"es-correcta-la-interpretación-de-que-el-desarrollo-de-la-gpu-se-ha-detenido\"\u003e\u003c/a\u003e¿Es correcta la interpretación de que el desarrollo de la GPU se ha detenido?\u003c/h2\u003e\n\u003cp\u003eEs difícil afirmar que el desarrollo de la GPU prácticamente se haya detenido. Los aceleradores siguen evolucionando hacia formatos de cálculo de baja precisión, procesamiento de dispersión, motores específicos para Transformer, chiplets, redes y refrigeración.\u003c/p\u003e\n\u003cp\u003eLo que ha cambiado son los criterios de evaluación. En lugar del máximo rendimiento de cálculo de un solo chip, han cobrado mayor importancia los siguientes indicadores.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eAncho de banda efectivo de memoria alcanzado con modelos reales\u003c/li\u003e\n\u003cli\u003eLatencia del primer token por usuario y velocidad de generación de tokens\u003c/li\u003e\n\u003cli\u003eNúmero de tokens procesados por vatio\u003c/li\u003e\n\u003cli\u003eCapacidad de memoria y ancho de banda de red por rack\u003c/li\u003e\n\u003cli\u003eCoste total de prestar servicio con el modelo\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eLa difusión de los modelos de código abierto tampoco ha igualado todas las capacidades de los modelos. Sin embargo, es cierto que, al permitir que varios operadores utilicen modelos similares, ha aumentado la importancia de la eficiencia operativa del hardware y de la capacidad de desplegar servicios.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#variables-f%C3%A1ciles-de-pasar-por-alto-fiabilidad-seguridad-y-modelo-de-programaci%C3%B3n\" class=\"anchor\" id=\"variables-fáciles-de-pasar-por-alto-fiabilidad-seguridad-y-modelo-de-programación\"\u003e\u003c/a\u003eVariables fáciles de pasar por alto: fiabilidad, seguridad y modelo de programación\u003c/h2\u003e\n\u003cp\u003eEl debate sobre la memoria de próxima generación se centra en el ancho de banda y la capacidad, pero existen otros factores que determinan su comercialización real.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#exactitud-de-los-datos-y-vida-%C3%BAtil\" class=\"anchor\" id=\"exactitud-de-los-datos-y-vida-útil\"\u003e\u003c/a\u003eExactitud de los datos y vida útil\u003c/h3\u003e\n\u003cp\u003eA medida que aumentan el apilamiento y la densidad de la memoria, adquieren mayor importancia el calor, la tasa de errores y la vida útil. En la inferencia de IA, la corrupción silenciosa de datos puede manifestarse como un resultado incorrecto en lugar de provocar una interrupción inmediata del sistema. La corrección de errores, la comprobación de la integridad de los datos y el aislamiento de fallos son tan importantes como el rendimiento.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#seguridad-de-la-memoria-compartida\" class=\"anchor\" id=\"seguridad-de-la-memoria-compartida\"\u003e\u003c/a\u003eSeguridad de la memoria compartida\u003c/h3\u003e\n\u003cp\u003eCuando varios aceleradores y clientes comparten un pool de memoria CXL o una caché externa, se necesitan aislamiento de datos, cifrado, permisos de acceso y eliminación de datos residuales. Cuanto mayor es la capacidad de memoria, mayor es también la cantidad de pesos del modelo y contextos de usuario que deben protegerse.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#pueden-utilizarla-los-desarrolladores\" class=\"anchor\" id=\"pueden-utilizarla-los-desarrolladores\"\u003e\u003c/a\u003e¿Pueden utilizarla los desarrolladores?\u003c/h3\u003e\n\u003cp\u003eAunque exista una nueva capa de memoria, su utilidad será baja si el compilador y el motor de inferencia no pueden decidir automáticamente la ubicación de los datos. Se necesita un runtime que gestione qué tensores y cachés KV deben colocarse en HBM, HBF, memoria CXL o SSD. En última instancia, la competencia de hardware se extiende a la competencia entre planificadores de memoria y software de sistemas.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#es-un-centro-de-datos-de-ia-una-f%C3%A1brica-de-memoria\" class=\"anchor\" id=\"es-un-centro-de-datos-de-ia-una-fábrica-de-memoria\"\u003e\u003c/a\u003e¿Es un centro de datos de IA una fábrica de memoria?\u003c/h2\u003e\n\u003cp\u003eLlamar «fábrica de memoria» a un centro de datos de IA a gran escala resulta útil como metáfora para destacar la importancia estratégica de la memoria. Esto se debe a que los pesos de los modelos, la caché KV, los datos de entrenamiento, los puntos de control y los índices de búsqueda se almacenan en distintas capas.\u003c/p\u003e\n\u003cp\u003eSin embargo, carece de fundamento generalizar que un porcentaje fijo del coste de los centros de datos se destina siempre a la memoria y la energía. La composición de costes varía según la proporción entre entrenamiento e inferencia, el precio de la electricidad, la amortización de los servidores, la red, la refrigeración, la tasa de utilización y la eficiencia del modelo.\u003c/p\u003e\n\u003cp\u003eUna conclusión más precisa es la siguiente.\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003eLos centros de datos de IA del futuro dejarán de ser meros lugares donde se instalan muchas GPU para convertirse en sistemas que colocan los datos en la capa de memoria más adecuada y los trasladan con el mínimo consumo energético.\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003ch2\u003e\n\u003ca href=\"#implicaciones-para-la-industria-surcoreana-de-semiconductores\" class=\"anchor\" id=\"implicaciones-para-la-industria-surcoreana-de-semiconductores\"\u003e\u003c/a\u003eImplicaciones para la industria surcoreana de semiconductores\u003c/h2\u003e\n\u003cp\u003eCorea del Sur dispone de capacidad de fabricación a gran escala de HBM y memoria flash NAND, por lo que ocupa una posición importante en la transición hacia un enfoque centrado en la memoria. Sin embargo, el volumen de producción de memoria por sí solo difícilmente puede garantizar una ventaja a largo plazo.\u003c/p\u003e\n\u003cp\u003eLas estrategias necesarias son las siguientes.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003eAsegurar la capacidad de diseñar conjuntamente HBM, HBF y empaquetado avanzado.\u003c/li\u003e\n\u003cli\u003eAumentar la proporción de diseño del die base, la IP de interfaz y los controladores de memoria.\u003c/li\u003e\n\u003cli\u003eImpulsar empresas de gestión térmica, semiconductores de potencia, interconexión óptica y sistemas para centros de datos.\u003c/li\u003e\n\u003cli\u003eCrear un ecosistema de software que permita a los compiladores y motores de inferencia utilizar eficientemente la memoria fabricada en Corea del Sur.\u003c/li\u003e\n\u003cli\u003eAsegurar casos de uso reales que conecten hardware, modelos de IA y servicios en smartphones, automóviles, robots y electrodomésticos.\u003c/li\u003e\n\u003cli\u003eGestionar el riesgo de dependencia de clientes específicos o de una única cadena de suministro de empaquetado.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003eLa posición de «ser un país sin el cual resulte difícil crear IA» no se consigue únicamente mediante el volumen de producción. Una posición industrial difícil de sustituir surge cuando se conectan estándares, activos de diseño, fabricación, empaquetado, software y servicios finales.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#perspectivas-jerarquizaci%C3%B3n-y-codise%C3%B1o-no-sustituci%C3%B3n\" class=\"anchor\" id=\"perspectivas-jerarquización-y-codiseño-no-sustitución\"\u003e\u003c/a\u003ePerspectivas: jerarquización y codiseño, no sustitución\u003c/h2\u003e\n\u003cp\u003eEn lugar de considerar que los semiconductores para IA pasarán por completo de estar centrados en la GPU a estar centrados en la memoria, resulta más preciso ver este proceso como una difuminación de la frontera entre las unidades de cálculo y la memoria.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eHBM se encarga de los datos que deben utilizarse con mayor rapidez.\u003c/li\u003e\n\u003cli\u003eHBF y la memoria CXL proporcionan una mayor capacidad.\u003c/li\u003e\n\u003cli\u003eSSD se ocupa del almacenamiento a largo plazo y de los datos fríos.\u003c/li\u003e\n\u003cli\u003eLa interconexión óptica reduce el coste de conectar recursos distantes.\u003c/li\u003e\n\u003cli\u003eLos dies base personalizados y PIM trasladan parte del cálculo cerca de los datos.\u003c/li\u003e\n\u003cli\u003eEl software de inferencia decide en qué capa debe situarse cada dato.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eEs muy probable que el ganador de la infraestructura de IA de próxima generación no sea la empresa que fabrique la GPU individual más rápida, sino el ecosistema que optimice como un único sistema el cálculo, la memoria, la conectividad, la energía, la refrigeración y el software.\u003c/p\u003e\n","tags":["Semiconductores","Centro de datos IA","SK hynix","Chips de IA","HBM"],"faqs":[{"question":"¿La computación centrada en la memoria significa sustituir las GPU por memoria?","answer":"No. Las GPU y otros aceleradores siguen encargándose del procesamiento. La computación centrada en la memoria es un enfoque que diseña conjuntamente los aceleradores, la HBM, la memoria externa, el almacenamiento y la red para reducir el tiempo y la energía necesarios para mover los datos."},{"question":"¿Por qué aumenta la caché KV con contextos largos?","answer":"El transformador almacena por capas la información de claves y valores de los tokens anteriores para no repetir los mismos cálculos. Como la cantidad almacenada suele ser proporcional al número de tokens, al número de capas, al número de cabezales KV y al tamaño del formato de datos, los contextos largos y muchas solicitudes simultáneas aumentan el uso de memoria."},{"question":"¿La HBF siempre es mejor que la HBM si tiene mayor capacidad?","answer":"No. La HBF basada en NAND tiene como ventajas una alta densidad de integración y la no volatilidad, pero presenta una latencia mayor que la HBM basada en DRAM, y la gestión de la vida útil de escritura y de los errores es más compleja. Una configuración jerárquica que sitúe los datos de uso frecuente en la HBM y los datos de uso menos frecuente en la HBF es más realista."},{"question":"¿Cuál es la diferencia entre la HBF y una SSD NVMe convencional?","answer":"La HBF es un concepto que busca ofrecer un mayor ancho de banda que las SSD existentes conectando la memoria flash NAND cerca del acelerador mediante una interfaz más amplia y paralela. El rendimiento concreto y el método de conexión pueden variar según el producto y los resultados de la estandarización."},{"question":"¿Qué ventajas ofrece el apilamiento vertical de la GPU y la HBM?","answer":"Al acortarse la distancia de conexión y poder utilizarse muchas interconexiones verticales, puede resultar ventajoso en cuanto al ancho de banda y al consumo energético de entrada y salida. En cambio, la densidad térmica, el suministro de energía, el rendimiento del proceso de unión, las pruebas y la refrigeración plantean mayores dificultades."},{"question":"¿Pueden las interconexiones ópticas sustituir a la HBM?","answer":"Las interconexiones ópticas son adecuadas para conectar múltiples aceleradores o recursos de memoria a larga distancia, pero no sustituyen directamente la baja latencia de la HBM situada junto al acelerador. Es probable que ambas tecnologías se ocupen de distancias y niveles de la jerarquía de memoria diferentes."},{"question":"¿Puede la HBM personalizada eliminar los ciclos de precios de la memoria?","answer":"Los diseños personalizados y los contratos de suministro a largo plazo pueden reforzar la estabilidad de los precios y las relaciones con los clientes en mayor medida que la memoria de uso general. Sin embargo, no desaparecen los efectos de las fluctuaciones de la inversión en AI, la capacidad de producción, el rendimiento de fabricación, la concentración de clientes y los precios de la DRAM de uso general."},{"question":"¿Desaparecen las alucinaciones de la AI al admitir contextos largos?","answer":"No. Los contextos largos pueden aportar más fundamentos, pero pueden producirse respuestas incorrectas si la calidad del material recuperado, la capacidad del modelo, la configuración de las instrucciones y la verificación de las fuentes son deficientes. Aumentar la memoria es solo uno de los medios para mitigar las alucinaciones."},{"question":"¿GHBM, HBF y THBM ya son estándares industriales definitivos?","answer":"No se debe considerar que todas estas denominaciones sean estándares definitivos del mismo nivel. Algunas pueden ser nombres que se encuentran en la fase de anuncios empresariales o propuestas de investigación, por lo que deben comprobarse por separado las especificaciones de organismos de estandarización como JEDEC, las especificaciones finales de los fabricantes y si realmente se producen en masa."}],"sources":[{"url":"https://futurememorystorage.com/","title":"FMS: el futuro de la memoria y el almacenamiento","type":"source"},{"url":"https://arxiv.org/abs/2309.06180","title":"Gestión eficiente de la memoria para la prestación de servicios de modelos de lenguaje de gran tamaño con PagedAttention","type":"source"},{"url":"https://arxiv.org/abs/2205.14135","title":"FlashAttention: atención exacta, rápida y eficiente en el uso de memoria con conocimiento de E/S","type":"source"},{"url":"https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/","title":"Dominio de las técnicas de LLM: optimización de la inferencia","type":"source"},{"url":"https://www.cxlconsortium.org/","title":"Consorcio Compute Express Link","type":"source"},{"url":"https://www.uciexpress.org/","title":"Consorcio UCIe","type":"source"}],"images":[{"id":716,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAxOCwicHVyIjoiYmxvYl9pZCJ9fQ==--5e9ff3355e5af64800fe3a3753eb07a1847f7fba/ai-db43622c.webp","is_representative":true,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"중앙 AI 칩과 RAM 모듈, 적층 메모리, 서버, 저장장치가 데이터 경로로 연결된 개념도","caption":"AI 반도체를 중심으로 메모리와 서버, 저장장치 사이의 데이터 흐름을 시각화했다.","description":null},"en":{"alt":"Central AI chip linked by data paths to RAM, stacked memory, servers, and storage","caption":"The illustration visualizes data flowing between an AI chip, memory, servers, and storage.","description":null},"ja":{"alt":"中央のAIチップとRAM、積層メモリ、サーバー、ストレージをデータ経路で結んだ概念図","caption":"AIチップを中心に、メモリやサーバー、ストレージ間のデータの流れを示している。","description":null},"es":{"alt":"Chip de IA central conectado por rutas de datos a RAM, memoria apilada, servidores y almacenamiento","caption":"La ilustración muestra el flujo de datos entre un chip de IA, la memoria, los servidores y el almacenamiento.","description":null},"id":{"alt":"Chip AI pusat terhubung melalui jalur data ke RAM, memori bertumpuk, server, dan penyimpanan","caption":"Ilustrasi ini memvisualisasikan aliran data antara chip AI, memori, server, dan penyimpanan.","description":null},"pt":{"alt":"Chip de IA central ligado por fluxos de dados à RAM, memória empilhada, servidores e armazenamento","caption":"A ilustração mostra o fluxo de dados entre um chip de IA, a memória, os servidores e o armazenamento.","description":null},"zh-hant":{"alt":"中央AI晶片透過資料路徑連接RAM、堆疊記憶體、伺服器與儲存裝置","caption":"插圖呈現AI晶片與記憶體、伺服器及儲存裝置之間的資料流動。","description":null},"de":{"alt":"Zentraler KI-Chip, über Datenpfade mit RAM, Stapelspeicher, Servern und Speichern verbunden","caption":"Die Illustration zeigt den Datenfluss zwischen einem KI-Chip, Speicher, Servern und Datenspeichern.","description":null}}},{"id":717,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAyNCwicHVyIjoiYmxvYl9pZCJ9fQ==--0b4dbc6fd04a7a2893bbf9865c8b7e32463f6e20/ai-29d9b4a3.webp","is_representative":false,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"적층 메모리와 프로세서, 서버를 고속 링크로 연결한 AI 반도체 구조 일러스트","caption":"적층 메모리와 서버 간 데이터 흐름을 중심으로 AI 반도체 구조를 표현했다.","description":null},"en":{"alt":"Exploded AI chip with stacked memory, processor layers, server racks, and glowing data links","caption":"The illustration highlights data flow between stacked memory, processors, and servers.","description":null},"ja":{"alt":"積層メモリとプロセッサ、サーバーを高速リンクで結ぶAI半導体の構造図","caption":"積層メモリとサーバー間のデータフローを中心にAI半導体の構造を表している。","description":null},"es":{"alt":"Chip de IA por capas con memoria apilada, procesadores, servidores y enlaces de datos luminosos","caption":"La ilustración destaca el flujo de datos entre la memoria apilada, los procesadores y los servidores.","description":null},"id":{"alt":"Chip AI berlapis dengan memori bertumpuk, prosesor, rak server, dan jalur data bercahaya","caption":"Ilustrasi ini menyoroti aliran data antara memori bertumpuk, prosesor, dan server.","description":null},"pt":{"alt":"Chip de IA em camadas com memória empilhada, processadores, servidores e conexões luminosas","caption":"A ilustração destaca o fluxo de dados entre memória empilhada, processadores e servidores.","description":null},"zh-hant":{"alt":"分層AI晶片結合堆疊記憶體、處理器、伺服器機櫃與發光資料連線","caption":"此圖呈現堆疊記憶體、處理器與伺服器之間的資料流動。","description":null},"de":{"alt":"Mehrschichtiger KI-Chip mit gestapeltem Speicher, Prozessoren, Serverracks und leuchtenden Datenleitungen","caption":"Die Illustration zeigt den Datenfluss zwischen gestapeltem Speicher, Prozessoren und Servern.","description":null}}}],"published_at":"2026-08-17T21:47:47+09:00","updated_at":"2026-08-17T21:47:47+09:00","license":"cc_by","translation_status":"reviewed","available_locales":["ko","en","ja","es"],"data_locales":["ko","en","ja","es","id","pt","zh-hant","de"],"url":"https://injoys.com/es/articles/memory-centric-ai-chips-hbm-hbf-packaging"}