{"content_id":"htuvoxtoaw","slug":"memory-centric-ai-chips-hbm-hbf-packaging","locale":"pt","schema_type":"TechArticle","category":"trends","category_name":"Tendências","title":"Do foco em GPU ao foco em memória: a mudança de paradigma dos semicondutores de IA","summary":"O gargalo dos sistemas de IA está deixando de ser apenas o desempenho computacional e passando para a capacidade de armazenar e movimentar dados. Com a combinação de HBM, HBF baseada em NAND, matrizes de base personalizadas, empacotamento 3D e interconexões ópticas, ganha força a computação centrada em memória, na qual aceleradores e memória são projetados em conjunto.","sponsorship_disclosure":null,"author":{"name":"injoys","url":"https://injoys.com/ko/about"},"key_points":["A computação centrada em memória não busca eliminar o GPU, mas projetar em conjunto o processador e a hierarquia de memória para reduzir o custo da movimentação de dados.","O aumento de contextos longos e de solicitações simultâneas amplia a capacidade necessária do cache KV, tornando importantes não apenas a largura de banda da HBM, mas também a capacidade total de memória e as tecnologias de hierarquização.","A HBF aproveita a alta densidade da memória flash NAND, mas, devido a problemas de latência, vida útil de gravação e gerenciamento de erros, é mais provável que complemente a HBM do que a substitua diretamente.","As estruturas que empilham memória verticalmente sobre ou sob o GPU reduzem a distância da fiação, mas criam novas restrições relacionadas à densidade térmica, ao rendimento, ao fornecimento de energia e à refrigeração.","A HBM personalizada amplia a participação das empresas de memória no projeto, mas não elimina a volatilidade dos preços nem os próprios ciclos de oferta de memória."],"content_markdown":"Os critérios de competitividade dos semicondutores de AI estão se expandindo da simples quantidade de operações para **quanto dado é possível armazenar e movimentar com baixo consumo de energia**. Na inferência de AI em larga escala, ocorrem situações em que a GPU fica ociosa não por ser incapaz de realizar os cálculos, mas por não receber a tempo os pesos necessários do modelo e o cache KV.\n\nEssa mudança costuma ser descrita como uma “transição do foco em GPU para o foco em memória”. No entanto, isso não significa que a GPU esteja desaparecendo ou que seu desenvolvimento tenha parado. Mais precisamente, a direção é projetar conjuntamente GPU, HBM, memória externa, armazenamento, rede e software como um único sistema de movimentação de dados.\n\n## O que é computação centrada em memória\n\n**A computação centrada em memória é uma abordagem que toma a localização, a largura de banda, a capacidade e as funções computacionais da memória como ponto de partida do projeto do sistema, a fim de reduzir o custo de transportar repetidamente os dados até a unidade de processamento**.\n\nA capacidade de processamento aritmético dos chips de AI aumentou rapidamente, mas o processo de buscar dados fora do chip é relativamente lento e consome muita energia. Por isso, as seguintes tecnologias passaram a ser importantes em conjunto.\n\n- HBM posicionada perto da GPU ou do acelerador de AI\n- Empacotamento 3D que conecta verticalmente memória e lógica\n- HBM personalizada que incorpora funções de controle ou parte do processamento no die-base\n- Expansão e pooling de memória por meio de CXL\n- Conceito de HBF que conecta memória flash NAND por meio de uma interface ampla\n- Interconexões ópticas voltadas a reduzir a energia de transmissão entre chips e servidores\n- PIM e near-memory computing, que processam os dados perto da memória\n\nPortanto, a expressão “centrada em memória” não se refere a um único produto de memória específico. Trata-se de um princípio de sistema que reúne várias camadas, desde memórias rápidas até dispositivos de armazenamento de grande capacidade, para minimizar a movimentação de dados.\n\n## Por que a inferência de AI amplia o gargalo de memória\n\n### Os pesos do modelo e o cache KV representam cargas diferentes\n\nA memória necessária para a inferência de AI divide-se, de modo geral, em pesos do modelo, valores de ativação gerados durante a execução e cache KV. Os pesos do modelo ocupam um tamanho constante mesmo sem solicitações, enquanto o cache KV aumenta conforme o comprimento da entrada, o comprimento da saída e o número de solicitações simultâneas.\n\nPara não recalcular todos os tokens anteriores desde o início a cada vez, os modelos transformer armazenam no cache KV as informações das chaves e dos valores de atenção de cada camada. De forma simplificada, o tamanho do cache KV de uma solicitação é proporcional aos seguintes elementos.\n\nO tamanho exato do cache KV deve ser verificado na arquitetura do modelo e nas especificações da implementação.\n\nNo cache KV, as chaves e os valores são armazenados separadamente. Por isso, quando o contexto se torna mais longo ou há muitos usuários sendo processados simultaneamente, o cache KV cresce rapidamente. Nem todos os modelos usam milhões de tokens, nem o cache aumenta uniformemente centenas de vezes, mas está claro que a inferência com textos longos e as tarefas baseadas em agentes elevam a pressão sobre a memória.\n\n### Alucinação e capacidade de memória não são o mesmo problema\n\nContextos mais longos e a geração aumentada por recuperação podem fornecer mais fundamentos ao modelo. Entretanto, aumentar a memória, por si só, não elimina as alucinações. Também são necessários qualidade dos resultados da busca, composição do prompt, capacidade de raciocínio do modelo, verificação das fontes e sistemas de avaliação.\n\n### O software também reduz a demanda por memória física\n\nO gargalo do cache KV não é resolvido apenas com a expansão do hardware.\n\n- MQA e GQA reduzem o número de cabeças KV que precisam ser armazenadas.\n- A quantização reduz a quantidade de bytes dos pesos e do cache.\n- PagedAttention gerencia o cache por páginas, reduzindo a fragmentação e o desperdício.\n- O batching contínuo agrupa várias solicitações com eficiência.\n- O cache de prefixos reutiliza prompts de sistema repetidos ou contextos comuns.\n- A remoção de cache e o descarregamento por camadas transferem informações menos importantes para memórias mais lentas.\n\nPortanto, o investimento efetivo em memória de um data center depende não apenas do tamanho do modelo, mas também da eficiência do mecanismo de inferência.\n\n## A hierarquia de memória dos data centers de AI\n\nÉ difícil que uma única memória atenda simultaneamente aos requisitos de velocidade, capacidade, preço e eficiência energética. É provável que os data centers de AI evoluam para uma estrutura hierárquica como a seguinte.\n\n| Camada | Tecnologia representativa | Pontos fortes | Principais limitações | Função esperada |\n|---|---|---|---|---|\n| Dentro do chip | SRAM, registradores | Menor latência | Capacidade muito pequena e alto custo de área | Dados de uso imediato e valores intermediários do processamento |\n| Próxima ao acelerador | HBM | Alta largura de banda e latência relativamente baixa | Restrições de capacidade, custo de empacotamento e calor | Pesos ativos e cache KV usado com frequência |\n| Memória do servidor | DDR, memória conectada por CXL | Capacidade de expansão maior que a da HBM | Maior distância do acelerador e menor largura de banda | Expansão de cache, hierarquização de modelos e pool de memória |\n| Flash de alta largura de banda | Conceito de HBF | Alta densidade baseada em NAND e não volatilidade | Latência de leitura, vida útil de gravação e complexidade de controle | Camada para pesos e cache KV usados com menos frequência |\n| Armazenamento | NVMe SSD | Grande capacidade e baixo custo por bit | Latência maior que a da memória | Checkpoints, conjuntos de dados e dados frios |\n\nO ponto central não é a vitória da HBM ou da HBF, mas a disposição de várias camadas conforme a frequência de uso dos dados.\n\n## A competição pela memória de próxima geração apresentada na FMS 2026\n\nRealizada em agosto de 2026, em Santa Clara, nos Estados Unidos, a FMS tratou como tema central as estruturas de memória e armazenamento para AI posteriores à HBM. As discussões concentraram-se em empilhamentos mais altos, camadas de grande capacidade baseadas em NAND, memórias personalizadas e tecnologias de conexão para data centers.\n\nA GHBM da Samsung Electronics e a HBF discutida pela SK hynix com Google e SanDisk foram apresentadas como exemplos dessa direção. No entanto, é difícil afirmar que nomes como GHBM, HBF e THBM sejam todos denominações genéricas de gerações definidas pela JEDEC com as mesmas especificações. É preciso distinguir entre tecnologias ainda na fase de anúncio pelas empresas, conceitos de desenvolvimento conjunto e produtos comerciais padronizados.\n\nAlém disso, uma geração com número mais alto não torna necessariamente os serviços reais de AI mais rápidos. É preciso comparar em conjunto a largura de banda efetiva, a capacidade de memória, a latência, o consumo de energia, a refrigeração, o rendimento do empacotamento e o suporte de software.\n\n## Os pontos fortes e as limitações de capacidade da HBM\n\nA HBM empilha verticalmente vários dies de DRAM e os conecta por meio de vias de silício e de uma interface ampla. Sua principal vantagem é poder fornecer muitos dados em paralelo perto do acelerador, em comparação com as memórias convencionais instaladas em placas.\n\nEntretanto, é difícil ampliar indefinidamente a capacidade da HBM.\n\n1. À medida que aumenta o número de camadas, crescem a dificuldade de fabricação e a complexidade dos testes.\n2. A área do pacote que acomoda conjuntamente a GPU e a HBM aumenta.\n3. É preciso remover, em um espaço estreito, o calor gerado pelo acelerador e pela memória.\n4. A rede de fornecimento de energia e o roteamento do interposer também se tornam mais complexos.\n5. Usar HBM de alto custo para armazenar até mesmo dados pouco utilizados reduz a viabilidade econômica.\n\nPor isso, torna-se importante uma hierarquização em que a HBM cuida dos dados usados com maior frequência, enquanto os demais são transferidos para memória CXL, flash ou SSD.\n\n## A HBF pode substituir a HBM?\n\nHBF é a sigla de High Bandwidth Flash, um conceito que busca paralelizar e empilhar memória flash NAND para criar uma camada de memória de alta largura de banda mais próxima do acelerador do que os SSDs existentes. Como a NAND oferece maior densidade e não volatilidade em relação à DRAM, há potencial para armazenar mais dados no mesmo espaço físico.\n\nEntretanto, a NAND possui características diferentes das da DRAM.\n\n- A latência de leitura é maior.\n- É necessário um processo de apagamento antes da sobrescrita.\n- É preciso gerenciar a vida útil conforme o número de gravações.\n- São necessários gerenciamento de blocos defeituosos, correção de erros e wear leveling.\n- É mais adequada para acessos sequenciais em grandes unidades do que para acessos irregulares em unidades pequenas.\n\nPortanto, mesmo que a HBF seja comercializada, é mais provável que funcione como **uma camada de grande capacidade entre a HBM e o SSD**, em vez de substituir diretamente a HBM. Pesos de modelos voltados principalmente à leitura, caches reutilizados com pouca frequência, checkpoints e dados de busca podem ser candidatos. A adequação real dependerá do padrão da interface, da latência, da durabilidade e do suporte do controlador e do software de inferência.\n\n## O problema do empacotamento 3D levantado por GHBM e THBM\n\nO método de posicionar o acelerador e a HBM lado a lado no pacote apresenta limitações quanto à largura das conexões e à área do pacote. Para superá-las, surgiram conceitos que empilham verticalmente lógica e memória, reduzindo o comprimento das interconexões.\n\n### Estrutura que posiciona a memória sobre a GPU\n\nO conceito apresentado como GHBM ou HBM de eixo Z segue a direção de combinar verticalmente GPU e HBM para reduzir a distância de movimentação dos dados. Conexões verticais curtas e numerosas criam a expectativa de alta largura de banda e baixo consumo de energia de entrada e saída.\n\nO problema é o calor. Quando a memória é posicionada sobre a GPU, o calor gerado pela GPU pode passar entre a memória e o dispositivo de refrigeração. A expressão “a memória derrete” está mais próxima de uma metáfora para enfatizar o problema térmico do que de uma explicação técnica. Os riscos reais são exceder a temperatura permitida das junções e da memória, aumentar a corrente de fuga, limitar o desempenho e reduzir a vida útil.\n\n### Estrutura com memória embaixo e GPU em cima\n\nA THBM, que teria sido proposta pela equipe do professor Kim Jung-ho, da KAIST, baseia-se na ideia de colocar a GPU sobre a pilha de HBM, posicionando a lógica que gera mais calor mais perto do dispositivo de refrigeração. Isso pode ser vantajoso para a dissipação térmica, mas os seguintes desafios permanecem.\n\n- Estabilidade mecânica do die lógico pesado e do empilhamento de memória\n- Fornecimento de energia e roteamento de sinais\n- Rendimento da união de dies produzidos por processos diferentes\n- Possibilidade de substituir e testar dies defeituosos\n- Projeto do pacote, incluindo a placa de refrigeração\n\nA competitividade do empilhamento vertical não pode ser avaliada apenas por um diagrama conceitual. São necessários resultados medidos de resistência térmica, largura de banda efetiva, rendimento e custo total de propriedade.\n\n## A interconexão óptica é uma alternativa para evitar a dependência da memória?\n\nPara usar memória e armazenamento externos à GPU, os dados precisam percorrer distâncias maiores. Quanto maior a distância e a velocidade de transmissão dos sinais elétricos, mais energia é necessária para a correção dos sinais e a retransmissão. As interconexões ópticas vêm atraindo atenção como candidatas a melhorar a densidade da largura de banda e a energia de transmissão nas conexões de alta velocidade entre servidores, racks e clusters.\n\nÉ difícil explicar o movimento da NVIDIA para reforçar as redes ópticas apenas como uma estratégia para evitar a dependência de uma empresa específica de memória. O motivo mais direto é que, à medida que os aceleradores se expandem além de um único servidor para a escala de racks e data centers, a rede se torna um gargalo de todo o sistema de AI.\n\nAs conexões ópticas também não substituem a HBM. É provável que a HBM cuide da baixa latência imediatamente ao lado do acelerador, enquanto as conexões ópticas assumam a função de conectar pools de memória mais distantes e vários aceleradores.\n\n## Como a HBM personalizada transforma a indústria de memória\n\nA DRAM convencional de uso geral tinha como forte característica o fornecimento de produtos com as mesmas especificações a vários clientes. Como a HBM exige o ajuste conjunto do pacote da GPU, do interposer, do die-base e dos projetos de energia e térmico, a proporção de desenvolvimento conjunto entre clientes e empresas de memória é maior.\n\nNa HBM personalizada ou CHBM, o die-base pode incorporar as seguintes funções.\n\n- Otimização do controle de memória e da interface\n- Correção de erros e gerenciamento de confiabilidade\n- Compressão de dados e controle de movimentação\n- Funções de segurança ou virtualização\n- Pré-processamento e processamento limitado de dados\n\nEssa estrutura pode elevar os fornecedores de memória da condição de simples fabricantes de componentes à de coprojetistas de sistemas. Como volumes e especificações são negociados no início do desenvolvimento, os contratos de longo prazo e o efeito de fidelização dos clientes também podem aumentar.\n\nEntretanto, a personalização não elimina completamente os ciclos do mercado de memória. O ritmo dos investimentos em AI, a concentração de clientes, a capacidade de produção de empacotamento, o rendimento e os preços da DRAM de uso geral ainda podem provocar oscilações nos resultados. Há também o risco de que um produto otimizado para um cliente específico seja difícil de vender a outros clientes quando a demanda mudar.\n\n## É correto interpretar que o desenvolvimento das GPUs parou?\n\nÉ difícil afirmar que o desenvolvimento das GPUs tenha praticamente parado. Os aceleradores continuam evoluindo em direções que incluem formatos computacionais de baixa precisão, processamento de esparsidade, mecanismos dedicados a transformers, chiplets, redes e refrigeração.\n\nO que mudou foram os critérios de avaliação. Em vez do desempenho computacional máximo de um único chip, os seguintes indicadores tornaram-se mais importantes.\n\n- Largura de banda de memória efetiva alcançada em modelos reais\n- Latência até o primeiro token por usuário e velocidade de geração de tokens\n- Número de tokens processados por watt\n- Capacidade de memória e largura de banda de rede por rack\n- Custo total de servir o modelo\n\nA disseminação de modelos de código aberto também não nivelou todas as capacidades dos modelos. No entanto, é verdade que, à medida que vários operadores passaram a poder usar modelos semelhantes, aumentou a importância da eficiência operacional do hardware e da capacidade de implantação dos serviços.\n\n## Variáveis fáceis de ignorar: confiabilidade, segurança e modelo de programação\n\nAs discussões sobre memórias de próxima geração concentram-se em largura de banda e capacidade, mas há outros fatores que determinam a comercialização efetiva.\n\n### Precisão e vida útil dos dados\n\nÀ medida que aumentam o empilhamento e a densidade da memória, tornam-se mais importantes os problemas de calor, taxa de erros e vida útil. Na inferência de AI, uma corrupção silenciosa de dados pode se manifestar como uma saída incorreta, em vez de uma interrupção imediata do sistema. Correção de erros, verificação da integridade dos dados e isolamento de falhas são tão importantes quanto o desempenho.\n\n### Segurança da memória compartilhada\n\nQuando pools de memória CXL ou caches externos são compartilhados por vários aceleradores e clientes, são necessários isolamento de dados, criptografia, permissões de acesso e exclusão dos dados residuais. Quanto maior a capacidade de memória, maior também é a quantidade de pesos de modelos e contextos de usuários que precisam ser protegidos.\n\n### Os desenvolvedores conseguem utilizá-la?\n\nMesmo que exista uma nova camada de memória, sua utilização será baixa se o compilador e o mecanismo de inferência não conseguirem decidir automaticamente onde posicionar os dados. É necessário um runtime que gerencie quais tensores e caches KV devem ser colocados em HBM, HBF, memória CXL ou SSD. No fim, a competição de hardware leva à competição entre escalonadores de memória e softwares de sistema.\n\n## Um data center de AI é uma fábrica de memória?\n\nChamar um data center de AI em larga escala de “fábrica de memória” é uma metáfora útil para enfatizar a importância estratégica da memória. Isso ocorre porque pesos de modelos, caches KV, dados de treinamento, checkpoints e índices de busca são armazenados em várias camadas.\n\nEntretanto, faltam fundamentos para generalizações segundo as quais uma proporção fixa dos custos de um data center seria sempre destinada à memória e à energia. A composição dos custos varia conforme a proporção entre treinamento e inferência, o preço da energia, a depreciação dos servidores, a rede, a refrigeração, a taxa de utilização e a eficiência do modelo.\n\nUma conclusão mais precisa é a seguinte.\n\n\u003e O data center de AI do futuro deixará de ser apenas um local que instala muitas GPUs e se tornará um sistema que posiciona os dados na camada de memória mais adequada e os movimenta com o mínimo de energia.\n\n## O significado para a indústria sul-coreana de semicondutores\n\nA Coreia do Sul possui capacidade de fabricação em larga escala de HBM e memória flash NAND, o que lhe confere uma posição importante na transição para o foco em memória. Entretanto, apenas o volume de produção de memória dificilmente garantirá uma vantagem de longo prazo.\n\nAs estratégias necessárias são as seguintes.\n\n1. Assegurar a capacidade de projetar conjuntamente HBM, HBF e empacotamento avançado.\n2. Aumentar a participação no projeto de dies-base, IPs de interface e controladores de memória.\n3. Desenvolver empresas de gerenciamento térmico, semicondutores de potência, interconexões ópticas e sistemas para data centers.\n4. Criar um ecossistema de software para que compiladores e mecanismos de inferência utilizem com eficiência as memórias sul-coreanas.\n5. Assegurar casos de uso reais que conectem hardware, modelos de AI e serviços em smartphones, automóveis, robôs e eletrodomésticos.\n6. Gerenciar o risco de dependência de clientes específicos ou de uma única cadeia de fornecimento de empacotamento.\n\nUma “posição em que seja difícil desenvolver AI sem passar pela Coreia do Sul” não é formada apenas pelo volume de produção. Uma posição industrial difícil de substituir surge quando padrões, ativos de projeto, fabricação, empacotamento, software e serviços finais estão conectados.\n\n## Perspectiva: hierarquização e projeto conjunto, não substituição\n\nEm vez de considerar que os semicondutores de AI serão completamente substituídos de um modelo centrado em GPU por outro centrado em memória, é mais correto interpretar esse processo como uma diluição da fronteira entre processamento e memória.\n\n- A HBM cuida dos dados que precisam ser usados com maior rapidez.\n- A HBF e a memória CXL oferecem maior capacidade.\n- Os SSDs cuidam do armazenamento de longo prazo e dos dados frios.\n- As interconexões ópticas reduzem o custo de conectar recursos distantes.\n- Dies-base personalizados e PIM transferem parte do processamento para perto dos dados.\n- O software de inferência decide em qual camada cada dado deve ficar.\n\nÉ provável que o vencedor da infraestrutura de AI de próxima geração não seja a empresa que produzir a GPU mais rápida isoladamente, mas o ecossistema que otimizar processamento, memória, conectividade, energia, refrigeração e software como um único sistema.","content_html":"\u003cp\u003eOs critérios de competitividade dos semicondutores de AI estão se expandindo da simples quantidade de operações para \u003cstrong\u003equanto dado é possível armazenar e movimentar com baixo consumo de energia\u003c/strong\u003e. Na inferência de AI em larga escala, ocorrem situações em que a GPU fica ociosa não por ser incapaz de realizar os cálculos, mas por não receber a tempo os pesos necessários do modelo e o cache KV.\u003c/p\u003e\n\u003cp\u003eEssa mudança costuma ser descrita como uma “transição do foco em GPU para o foco em memória”. No entanto, isso não significa que a GPU esteja desaparecendo ou que seu desenvolvimento tenha parado. Mais precisamente, a direção é projetar conjuntamente GPU, HBM, memória externa, armazenamento, rede e software como um único sistema de movimentação de dados.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#o-que-%C3%A9-computa%C3%A7%C3%A3o-centrada-em-mem%C3%B3ria\" class=\"anchor\" id=\"o-que-é-computação-centrada-em-memória\"\u003e\u003c/a\u003eO que é computação centrada em memória\u003c/h2\u003e\n\u003cp\u003e\u003cstrong\u003eA computação centrada em memória é uma abordagem que toma a localização, a largura de banda, a capacidade e as funções computacionais da memória como ponto de partida do projeto do sistema, a fim de reduzir o custo de transportar repetidamente os dados até a unidade de processamento\u003c/strong\u003e.\u003c/p\u003e\n\u003cp\u003eA capacidade de processamento aritmético dos chips de AI aumentou rapidamente, mas o processo de buscar dados fora do chip é relativamente lento e consome muita energia. Por isso, as seguintes tecnologias passaram a ser importantes em conjunto.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eHBM posicionada perto da GPU ou do acelerador de AI\u003c/li\u003e\n\u003cli\u003eEmpacotamento 3D que conecta verticalmente memória e lógica\u003c/li\u003e\n\u003cli\u003eHBM personalizada que incorpora funções de controle ou parte do processamento no die-base\u003c/li\u003e\n\u003cli\u003eExpansão e pooling de memória por meio de CXL\u003c/li\u003e\n\u003cli\u003eConceito de HBF que conecta memória flash NAND por meio de uma interface ampla\u003c/li\u003e\n\u003cli\u003eInterconexões ópticas voltadas a reduzir a energia de transmissão entre chips e servidores\u003c/li\u003e\n\u003cli\u003ePIM e near-memory computing, que processam os dados perto da memória\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003ePortanto, a expressão “centrada em memória” não se refere a um único produto de memória específico. Trata-se de um princípio de sistema que reúne várias camadas, desde memórias rápidas até dispositivos de armazenamento de grande capacidade, para minimizar a movimentação de dados.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#por-que-a-infer%C3%AAncia-de-ai-amplia-o-gargalo-de-mem%C3%B3ria\" class=\"anchor\" id=\"por-que-a-inferência-de-ai-amplia-o-gargalo-de-memória\"\u003e\u003c/a\u003ePor que a inferência de AI amplia o gargalo de memória\u003c/h2\u003e\n\u003ch3\u003e\n\u003ca href=\"#os-pesos-do-modelo-e-o-cache-kv-representam-cargas-diferentes\" class=\"anchor\" id=\"os-pesos-do-modelo-e-o-cache-kv-representam-cargas-diferentes\"\u003e\u003c/a\u003eOs pesos do modelo e o cache KV representam cargas diferentes\u003c/h3\u003e\n\u003cp\u003eA memória necessária para a inferência de AI divide-se, de modo geral, em pesos do modelo, valores de ativação gerados durante a execução e cache KV. Os pesos do modelo ocupam um tamanho constante mesmo sem solicitações, enquanto o cache KV aumenta conforme o comprimento da entrada, o comprimento da saída e o número de solicitações simultâneas.\u003c/p\u003e\n\u003cp\u003ePara não recalcular todos os tokens anteriores desde o início a cada vez, os modelos transformer armazenam no cache KV as informações das chaves e dos valores de atenção de cada camada. De forma simplificada, o tamanho do cache KV de uma solicitação é proporcional aos seguintes elementos.\u003c/p\u003e\n\u003cp\u003eO tamanho exato do cache KV deve ser verificado na arquitetura do modelo e nas especificações da implementação.\u003c/p\u003e\n\u003cp\u003eNo cache KV, as chaves e os valores são armazenados separadamente. Por isso, quando o contexto se torna mais longo ou há muitos usuários sendo processados simultaneamente, o cache KV cresce rapidamente. Nem todos os modelos usam milhões de tokens, nem o cache aumenta uniformemente centenas de vezes, mas está claro que a inferência com textos longos e as tarefas baseadas em agentes elevam a pressão sobre a memória.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#alucina%C3%A7%C3%A3o-e-capacidade-de-mem%C3%B3ria-n%C3%A3o-s%C3%A3o-o-mesmo-problema\" class=\"anchor\" id=\"alucinação-e-capacidade-de-memória-não-são-o-mesmo-problema\"\u003e\u003c/a\u003eAlucinação e capacidade de memória não são o mesmo problema\u003c/h3\u003e\n\u003cp\u003eContextos mais longos e a geração aumentada por recuperação podem fornecer mais fundamentos ao modelo. Entretanto, aumentar a memória, por si só, não elimina as alucinações. Também são necessários qualidade dos resultados da busca, composição do prompt, capacidade de raciocínio do modelo, verificação das fontes e sistemas de avaliação.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#o-software-tamb%C3%A9m-reduz-a-demanda-por-mem%C3%B3ria-f%C3%ADsica\" class=\"anchor\" id=\"o-software-também-reduz-a-demanda-por-memória-física\"\u003e\u003c/a\u003eO software também reduz a demanda por memória física\u003c/h3\u003e\n\u003cp\u003eO gargalo do cache KV não é resolvido apenas com a expansão do hardware.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eMQA e GQA reduzem o número de cabeças KV que precisam ser armazenadas.\u003c/li\u003e\n\u003cli\u003eA quantização reduz a quantidade de bytes dos pesos e do cache.\u003c/li\u003e\n\u003cli\u003ePagedAttention gerencia o cache por páginas, reduzindo a fragmentação e o desperdício.\u003c/li\u003e\n\u003cli\u003eO batching contínuo agrupa várias solicitações com eficiência.\u003c/li\u003e\n\u003cli\u003eO cache de prefixos reutiliza prompts de sistema repetidos ou contextos comuns.\u003c/li\u003e\n\u003cli\u003eA remoção de cache e o descarregamento por camadas transferem informações menos importantes para memórias mais lentas.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003ePortanto, o investimento efetivo em memória de um data center depende não apenas do tamanho do modelo, mas também da eficiência do mecanismo de inferência.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#a-hierarquia-de-mem%C3%B3ria-dos-data-centers-de-ai\" class=\"anchor\" id=\"a-hierarquia-de-memória-dos-data-centers-de-ai\"\u003e\u003c/a\u003eA hierarquia de memória dos data centers de AI\u003c/h2\u003e\n\u003cp\u003eÉ difícil que uma única memória atenda simultaneamente aos requisitos de velocidade, capacidade, preço e eficiência energética. É provável que os data centers de AI evoluam para uma estrutura hierárquica como a seguinte.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eCamada\u003c/th\u003e\n\u003cth\u003eTecnologia representativa\u003c/th\u003e\n\u003cth\u003ePontos fortes\u003c/th\u003e\n\u003cth\u003ePrincipais limitações\u003c/th\u003e\n\u003cth\u003eFunção esperada\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Camada\"\u003eDentro do chip\u003c/td\u003e\n\u003ctd data-label=\"Tecnologia representativa\"\u003eSRAM, registradores\u003c/td\u003e\n\u003ctd data-label=\"Pontos fortes\"\u003eMenor latência\u003c/td\u003e\n\u003ctd data-label=\"Principais limitações\"\u003eCapacidade muito pequena e alto custo de área\u003c/td\u003e\n\u003ctd data-label=\"Função esperada\"\u003eDados de uso imediato e valores intermediários do processamento\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Camada\"\u003ePróxima ao acelerador\u003c/td\u003e\n\u003ctd data-label=\"Tecnologia representativa\"\u003eHBM\u003c/td\u003e\n\u003ctd data-label=\"Pontos fortes\"\u003eAlta largura de banda e latência relativamente baixa\u003c/td\u003e\n\u003ctd data-label=\"Principais limitações\"\u003eRestrições de capacidade, custo de empacotamento e calor\u003c/td\u003e\n\u003ctd data-label=\"Função esperada\"\u003ePesos ativos e cache KV usado com frequência\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Camada\"\u003eMemória do servidor\u003c/td\u003e\n\u003ctd data-label=\"Tecnologia representativa\"\u003eDDR, memória conectada por CXL\u003c/td\u003e\n\u003ctd data-label=\"Pontos fortes\"\u003eCapacidade de expansão maior que a da HBM\u003c/td\u003e\n\u003ctd data-label=\"Principais limitações\"\u003eMaior distância do acelerador e menor largura de banda\u003c/td\u003e\n\u003ctd data-label=\"Função esperada\"\u003eExpansão de cache, hierarquização de modelos e pool de memória\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Camada\"\u003eFlash de alta largura de banda\u003c/td\u003e\n\u003ctd data-label=\"Tecnologia representativa\"\u003eConceito de HBF\u003c/td\u003e\n\u003ctd data-label=\"Pontos fortes\"\u003eAlta densidade baseada em NAND e não volatilidade\u003c/td\u003e\n\u003ctd data-label=\"Principais limitações\"\u003eLatência de leitura, vida útil de gravação e complexidade de controle\u003c/td\u003e\n\u003ctd data-label=\"Função esperada\"\u003eCamada para pesos e cache KV usados com menos frequência\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Camada\"\u003eArmazenamento\u003c/td\u003e\n\u003ctd data-label=\"Tecnologia representativa\"\u003eNVMe SSD\u003c/td\u003e\n\u003ctd data-label=\"Pontos fortes\"\u003eGrande capacidade e baixo custo por bit\u003c/td\u003e\n\u003ctd data-label=\"Principais limitações\"\u003eLatência maior que a da memória\u003c/td\u003e\n\u003ctd data-label=\"Função esperada\"\u003eCheckpoints, conjuntos de dados e dados frios\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eO ponto central não é a vitória da HBM ou da HBF, mas a disposição de várias camadas conforme a frequência de uso dos dados.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#a-competi%C3%A7%C3%A3o-pela-mem%C3%B3ria-de-pr%C3%B3xima-gera%C3%A7%C3%A3o-apresentada-na-fms-2026\" class=\"anchor\" id=\"a-competição-pela-memória-de-próxima-geração-apresentada-na-fms-2026\"\u003e\u003c/a\u003eA competição pela memória de próxima geração apresentada na FMS 2026\u003c/h2\u003e\n\u003cp\u003eRealizada em agosto de 2026, em Santa Clara, nos Estados Unidos, a FMS tratou como tema central as estruturas de memória e armazenamento para AI posteriores à HBM. As discussões concentraram-se em empilhamentos mais altos, camadas de grande capacidade baseadas em NAND, memórias personalizadas e tecnologias de conexão para data centers.\u003c/p\u003e\n\u003cp\u003eA GHBM da Samsung Electronics e a HBF discutida pela SK hynix com Google e SanDisk foram apresentadas como exemplos dessa direção. No entanto, é difícil afirmar que nomes como GHBM, HBF e THBM sejam todos denominações genéricas de gerações definidas pela JEDEC com as mesmas especificações. É preciso distinguir entre tecnologias ainda na fase de anúncio pelas empresas, conceitos de desenvolvimento conjunto e produtos comerciais padronizados.\u003c/p\u003e\n\u003cp\u003eAlém disso, uma geração com número mais alto não torna necessariamente os serviços reais de AI mais rápidos. É preciso comparar em conjunto a largura de banda efetiva, a capacidade de memória, a latência, o consumo de energia, a refrigeração, o rendimento do empacotamento e o suporte de software.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#os-pontos-fortes-e-as-limita%C3%A7%C3%B5es-de-capacidade-da-hbm\" class=\"anchor\" id=\"os-pontos-fortes-e-as-limitações-de-capacidade-da-hbm\"\u003e\u003c/a\u003eOs pontos fortes e as limitações de capacidade da HBM\u003c/h2\u003e\n\u003cp\u003eA HBM empilha verticalmente vários dies de DRAM e os conecta por meio de vias de silício e de uma interface ampla. Sua principal vantagem é poder fornecer muitos dados em paralelo perto do acelerador, em comparação com as memórias convencionais instaladas em placas.\u003c/p\u003e\n\u003cp\u003eEntretanto, é difícil ampliar indefinidamente a capacidade da HBM.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003eÀ medida que aumenta o número de camadas, crescem a dificuldade de fabricação e a complexidade dos testes.\u003c/li\u003e\n\u003cli\u003eA área do pacote que acomoda conjuntamente a GPU e a HBM aumenta.\u003c/li\u003e\n\u003cli\u003eÉ preciso remover, em um espaço estreito, o calor gerado pelo acelerador e pela memória.\u003c/li\u003e\n\u003cli\u003eA rede de fornecimento de energia e o roteamento do interposer também se tornam mais complexos.\u003c/li\u003e\n\u003cli\u003eUsar HBM de alto custo para armazenar até mesmo dados pouco utilizados reduz a viabilidade econômica.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003ePor isso, torna-se importante uma hierarquização em que a HBM cuida dos dados usados com maior frequência, enquanto os demais são transferidos para memória CXL, flash ou SSD.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#a-hbf-pode-substituir-a-hbm\" class=\"anchor\" id=\"a-hbf-pode-substituir-a-hbm\"\u003e\u003c/a\u003eA HBF pode substituir a HBM?\u003c/h2\u003e\n\u003cp\u003eHBF é a sigla de High Bandwidth Flash, um conceito que busca paralelizar e empilhar memória flash NAND para criar uma camada de memória de alta largura de banda mais próxima do acelerador do que os SSDs existentes. Como a NAND oferece maior densidade e não volatilidade em relação à DRAM, há potencial para armazenar mais dados no mesmo espaço físico.\u003c/p\u003e\n\u003cp\u003eEntretanto, a NAND possui características diferentes das da DRAM.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eA latência de leitura é maior.\u003c/li\u003e\n\u003cli\u003eÉ necessário um processo de apagamento antes da sobrescrita.\u003c/li\u003e\n\u003cli\u003eÉ preciso gerenciar a vida útil conforme o número de gravações.\u003c/li\u003e\n\u003cli\u003eSão necessários gerenciamento de blocos defeituosos, correção de erros e wear leveling.\u003c/li\u003e\n\u003cli\u003eÉ mais adequada para acessos sequenciais em grandes unidades do que para acessos irregulares em unidades pequenas.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003ePortanto, mesmo que a HBF seja comercializada, é mais provável que funcione como \u003cstrong\u003euma camada de grande capacidade entre a HBM e o SSD\u003c/strong\u003e, em vez de substituir diretamente a HBM. Pesos de modelos voltados principalmente à leitura, caches reutilizados com pouca frequência, checkpoints e dados de busca podem ser candidatos. A adequação real dependerá do padrão da interface, da latência, da durabilidade e do suporte do controlador e do software de inferência.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#o-problema-do-empacotamento-3d-levantado-por-ghbm-e-thbm\" class=\"anchor\" id=\"o-problema-do-empacotamento-3d-levantado-por-ghbm-e-thbm\"\u003e\u003c/a\u003eO problema do empacotamento 3D levantado por GHBM e THBM\u003c/h2\u003e\n\u003cp\u003eO método de posicionar o acelerador e a HBM lado a lado no pacote apresenta limitações quanto à largura das conexões e à área do pacote. Para superá-las, surgiram conceitos que empilham verticalmente lógica e memória, reduzindo o comprimento das interconexões.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#estrutura-que-posiciona-a-mem%C3%B3ria-sobre-a-gpu\" class=\"anchor\" id=\"estrutura-que-posiciona-a-memória-sobre-a-gpu\"\u003e\u003c/a\u003eEstrutura que posiciona a memória sobre a GPU\u003c/h3\u003e\n\u003cp\u003eO conceito apresentado como GHBM ou HBM de eixo Z segue a direção de combinar verticalmente GPU e HBM para reduzir a distância de movimentação dos dados. Conexões verticais curtas e numerosas criam a expectativa de alta largura de banda e baixo consumo de energia de entrada e saída.\u003c/p\u003e\n\u003cp\u003eO problema é o calor. Quando a memória é posicionada sobre a GPU, o calor gerado pela GPU pode passar entre a memória e o dispositivo de refrigeração. A expressão “a memória derrete” está mais próxima de uma metáfora para enfatizar o problema térmico do que de uma explicação técnica. Os riscos reais são exceder a temperatura permitida das junções e da memória, aumentar a corrente de fuga, limitar o desempenho e reduzir a vida útil.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#estrutura-com-mem%C3%B3ria-embaixo-e-gpu-em-cima\" class=\"anchor\" id=\"estrutura-com-memória-embaixo-e-gpu-em-cima\"\u003e\u003c/a\u003eEstrutura com memória embaixo e GPU em cima\u003c/h3\u003e\n\u003cp\u003eA THBM, que teria sido proposta pela equipe do professor Kim Jung-ho, da KAIST, baseia-se na ideia de colocar a GPU sobre a pilha de HBM, posicionando a lógica que gera mais calor mais perto do dispositivo de refrigeração. Isso pode ser vantajoso para a dissipação térmica, mas os seguintes desafios permanecem.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eEstabilidade mecânica do die lógico pesado e do empilhamento de memória\u003c/li\u003e\n\u003cli\u003eFornecimento de energia e roteamento de sinais\u003c/li\u003e\n\u003cli\u003eRendimento da união de dies produzidos por processos diferentes\u003c/li\u003e\n\u003cli\u003ePossibilidade de substituir e testar dies defeituosos\u003c/li\u003e\n\u003cli\u003eProjeto do pacote, incluindo a placa de refrigeração\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eA competitividade do empilhamento vertical não pode ser avaliada apenas por um diagrama conceitual. São necessários resultados medidos de resistência térmica, largura de banda efetiva, rendimento e custo total de propriedade.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#a-interconex%C3%A3o-%C3%B3ptica-%C3%A9-uma-alternativa-para-evitar-a-depend%C3%AAncia-da-mem%C3%B3ria\" class=\"anchor\" id=\"a-interconexão-óptica-é-uma-alternativa-para-evitar-a-dependência-da-memória\"\u003e\u003c/a\u003eA interconexão óptica é uma alternativa para evitar a dependência da memória?\u003c/h2\u003e\n\u003cp\u003ePara usar memória e armazenamento externos à GPU, os dados precisam percorrer distâncias maiores. Quanto maior a distância e a velocidade de transmissão dos sinais elétricos, mais energia é necessária para a correção dos sinais e a retransmissão. As interconexões ópticas vêm atraindo atenção como candidatas a melhorar a densidade da largura de banda e a energia de transmissão nas conexões de alta velocidade entre servidores, racks e clusters.\u003c/p\u003e\n\u003cp\u003eÉ difícil explicar o movimento da NVIDIA para reforçar as redes ópticas apenas como uma estratégia para evitar a dependência de uma empresa específica de memória. O motivo mais direto é que, à medida que os aceleradores se expandem além de um único servidor para a escala de racks e data centers, a rede se torna um gargalo de todo o sistema de AI.\u003c/p\u003e\n\u003cp\u003eAs conexões ópticas também não substituem a HBM. É provável que a HBM cuide da baixa latência imediatamente ao lado do acelerador, enquanto as conexões ópticas assumam a função de conectar pools de memória mais distantes e vários aceleradores.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#como-a-hbm-personalizada-transforma-a-ind%C3%BAstria-de-mem%C3%B3ria\" class=\"anchor\" id=\"como-a-hbm-personalizada-transforma-a-indústria-de-memória\"\u003e\u003c/a\u003eComo a HBM personalizada transforma a indústria de memória\u003c/h2\u003e\n\u003cp\u003eA DRAM convencional de uso geral tinha como forte característica o fornecimento de produtos com as mesmas especificações a vários clientes. Como a HBM exige o ajuste conjunto do pacote da GPU, do interposer, do die-base e dos projetos de energia e térmico, a proporção de desenvolvimento conjunto entre clientes e empresas de memória é maior.\u003c/p\u003e\n\u003cp\u003eNa HBM personalizada ou CHBM, o die-base pode incorporar as seguintes funções.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eOtimização do controle de memória e da interface\u003c/li\u003e\n\u003cli\u003eCorreção de erros e gerenciamento de confiabilidade\u003c/li\u003e\n\u003cli\u003eCompressão de dados e controle de movimentação\u003c/li\u003e\n\u003cli\u003eFunções de segurança ou virtualização\u003c/li\u003e\n\u003cli\u003ePré-processamento e processamento limitado de dados\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eEssa estrutura pode elevar os fornecedores de memória da condição de simples fabricantes de componentes à de coprojetistas de sistemas. Como volumes e especificações são negociados no início do desenvolvimento, os contratos de longo prazo e o efeito de fidelização dos clientes também podem aumentar.\u003c/p\u003e\n\u003cp\u003eEntretanto, a personalização não elimina completamente os ciclos do mercado de memória. O ritmo dos investimentos em AI, a concentração de clientes, a capacidade de produção de empacotamento, o rendimento e os preços da DRAM de uso geral ainda podem provocar oscilações nos resultados. Há também o risco de que um produto otimizado para um cliente específico seja difícil de vender a outros clientes quando a demanda mudar.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#%C3%A9-correto-interpretar-que-o-desenvolvimento-das-gpus-parou\" class=\"anchor\" id=\"é-correto-interpretar-que-o-desenvolvimento-das-gpus-parou\"\u003e\u003c/a\u003eÉ correto interpretar que o desenvolvimento das GPUs parou?\u003c/h2\u003e\n\u003cp\u003eÉ difícil afirmar que o desenvolvimento das GPUs tenha praticamente parado. Os aceleradores continuam evoluindo em direções que incluem formatos computacionais de baixa precisão, processamento de esparsidade, mecanismos dedicados a transformers, chiplets, redes e refrigeração.\u003c/p\u003e\n\u003cp\u003eO que mudou foram os critérios de avaliação. Em vez do desempenho computacional máximo de um único chip, os seguintes indicadores tornaram-se mais importantes.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eLargura de banda de memória efetiva alcançada em modelos reais\u003c/li\u003e\n\u003cli\u003eLatência até o primeiro token por usuário e velocidade de geração de tokens\u003c/li\u003e\n\u003cli\u003eNúmero de tokens processados por watt\u003c/li\u003e\n\u003cli\u003eCapacidade de memória e largura de banda de rede por rack\u003c/li\u003e\n\u003cli\u003eCusto total de servir o modelo\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eA disseminação de modelos de código aberto também não nivelou todas as capacidades dos modelos. No entanto, é verdade que, à medida que vários operadores passaram a poder usar modelos semelhantes, aumentou a importância da eficiência operacional do hardware e da capacidade de implantação dos serviços.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#vari%C3%A1veis-f%C3%A1ceis-de-ignorar-confiabilidade-seguran%C3%A7a-e-modelo-de-programa%C3%A7%C3%A3o\" class=\"anchor\" id=\"variáveis-fáceis-de-ignorar-confiabilidade-segurança-e-modelo-de-programação\"\u003e\u003c/a\u003eVariáveis fáceis de ignorar: confiabilidade, segurança e modelo de programação\u003c/h2\u003e\n\u003cp\u003eAs discussões sobre memórias de próxima geração concentram-se em largura de banda e capacidade, mas há outros fatores que determinam a comercialização efetiva.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#precis%C3%A3o-e-vida-%C3%BAtil-dos-dados\" class=\"anchor\" id=\"precisão-e-vida-útil-dos-dados\"\u003e\u003c/a\u003ePrecisão e vida útil dos dados\u003c/h3\u003e\n\u003cp\u003eÀ medida que aumentam o empilhamento e a densidade da memória, tornam-se mais importantes os problemas de calor, taxa de erros e vida útil. Na inferência de AI, uma corrupção silenciosa de dados pode se manifestar como uma saída incorreta, em vez de uma interrupção imediata do sistema. Correção de erros, verificação da integridade dos dados e isolamento de falhas são tão importantes quanto o desempenho.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#seguran%C3%A7a-da-mem%C3%B3ria-compartilhada\" class=\"anchor\" id=\"segurança-da-memória-compartilhada\"\u003e\u003c/a\u003eSegurança da memória compartilhada\u003c/h3\u003e\n\u003cp\u003eQuando pools de memória CXL ou caches externos são compartilhados por vários aceleradores e clientes, são necessários isolamento de dados, criptografia, permissões de acesso e exclusão dos dados residuais. Quanto maior a capacidade de memória, maior também é a quantidade de pesos de modelos e contextos de usuários que precisam ser protegidos.\u003c/p\u003e\n\u003ch3\u003e\n\u003ca href=\"#os-desenvolvedores-conseguem-utiliz%C3%A1-la\" class=\"anchor\" id=\"os-desenvolvedores-conseguem-utilizá-la\"\u003e\u003c/a\u003eOs desenvolvedores conseguem utilizá-la?\u003c/h3\u003e\n\u003cp\u003eMesmo que exista uma nova camada de memória, sua utilização será baixa se o compilador e o mecanismo de inferência não conseguirem decidir automaticamente onde posicionar os dados. É necessário um runtime que gerencie quais tensores e caches KV devem ser colocados em HBM, HBF, memória CXL ou SSD. No fim, a competição de hardware leva à competição entre escalonadores de memória e softwares de sistema.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#um-data-center-de-ai-%C3%A9-uma-f%C3%A1brica-de-mem%C3%B3ria\" class=\"anchor\" id=\"um-data-center-de-ai-é-uma-fábrica-de-memória\"\u003e\u003c/a\u003eUm data center de AI é uma fábrica de memória?\u003c/h2\u003e\n\u003cp\u003eChamar um data center de AI em larga escala de “fábrica de memória” é uma metáfora útil para enfatizar a importância estratégica da memória. Isso ocorre porque pesos de modelos, caches KV, dados de treinamento, checkpoints e índices de busca são armazenados em várias camadas.\u003c/p\u003e\n\u003cp\u003eEntretanto, faltam fundamentos para generalizações segundo as quais uma proporção fixa dos custos de um data center seria sempre destinada à memória e à energia. A composição dos custos varia conforme a proporção entre treinamento e inferência, o preço da energia, a depreciação dos servidores, a rede, a refrigeração, a taxa de utilização e a eficiência do modelo.\u003c/p\u003e\n\u003cp\u003eUma conclusão mais precisa é a seguinte.\u003c/p\u003e\n\u003cblockquote\u003e\n\u003cp\u003eO data center de AI do futuro deixará de ser apenas um local que instala muitas GPUs e se tornará um sistema que posiciona os dados na camada de memória mais adequada e os movimenta com o mínimo de energia.\u003c/p\u003e\n\u003c/blockquote\u003e\n\u003ch2\u003e\n\u003ca href=\"#o-significado-para-a-ind%C3%BAstria-sul-coreana-de-semicondutores\" class=\"anchor\" id=\"o-significado-para-a-indústria-sul-coreana-de-semicondutores\"\u003e\u003c/a\u003eO significado para a indústria sul-coreana de semicondutores\u003c/h2\u003e\n\u003cp\u003eA Coreia do Sul possui capacidade de fabricação em larga escala de HBM e memória flash NAND, o que lhe confere uma posição importante na transição para o foco em memória. Entretanto, apenas o volume de produção de memória dificilmente garantirá uma vantagem de longo prazo.\u003c/p\u003e\n\u003cp\u003eAs estratégias necessárias são as seguintes.\u003c/p\u003e\n\u003col\u003e\n\u003cli\u003eAssegurar a capacidade de projetar conjuntamente HBM, HBF e empacotamento avançado.\u003c/li\u003e\n\u003cli\u003eAumentar a participação no projeto de dies-base, IPs de interface e controladores de memória.\u003c/li\u003e\n\u003cli\u003eDesenvolver empresas de gerenciamento térmico, semicondutores de potência, interconexões ópticas e sistemas para data centers.\u003c/li\u003e\n\u003cli\u003eCriar um ecossistema de software para que compiladores e mecanismos de inferência utilizem com eficiência as memórias sul-coreanas.\u003c/li\u003e\n\u003cli\u003eAssegurar casos de uso reais que conectem hardware, modelos de AI e serviços em smartphones, automóveis, robôs e eletrodomésticos.\u003c/li\u003e\n\u003cli\u003eGerenciar o risco de dependência de clientes específicos ou de uma única cadeia de fornecimento de empacotamento.\u003c/li\u003e\n\u003c/ol\u003e\n\u003cp\u003eUma “posição em que seja difícil desenvolver AI sem passar pela Coreia do Sul” não é formada apenas pelo volume de produção. Uma posição industrial difícil de substituir surge quando padrões, ativos de projeto, fabricação, empacotamento, software e serviços finais estão conectados.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#perspectiva-hierarquiza%C3%A7%C3%A3o-e-projeto-conjunto-n%C3%A3o-substitui%C3%A7%C3%A3o\" class=\"anchor\" id=\"perspectiva-hierarquização-e-projeto-conjunto-não-substituição\"\u003e\u003c/a\u003ePerspectiva: hierarquização e projeto conjunto, não substituição\u003c/h2\u003e\n\u003cp\u003eEm vez de considerar que os semicondutores de AI serão completamente substituídos de um modelo centrado em GPU por outro centrado em memória, é mais correto interpretar esse processo como uma diluição da fronteira entre processamento e memória.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eA HBM cuida dos dados que precisam ser usados com maior rapidez.\u003c/li\u003e\n\u003cli\u003eA HBF e a memória CXL oferecem maior capacidade.\u003c/li\u003e\n\u003cli\u003eOs SSDs cuidam do armazenamento de longo prazo e dos dados frios.\u003c/li\u003e\n\u003cli\u003eAs interconexões ópticas reduzem o custo de conectar recursos distantes.\u003c/li\u003e\n\u003cli\u003eDies-base personalizados e PIM transferem parte do processamento para perto dos dados.\u003c/li\u003e\n\u003cli\u003eO software de inferência decide em qual camada cada dado deve ficar.\u003c/li\u003e\n\u003c/ul\u003e\n\u003cp\u003eÉ provável que o vencedor da infraestrutura de AI de próxima geração não seja a empresa que produzir a GPU mais rápida isoladamente, mas o ecossistema que otimizar processamento, memória, conectividade, energia, refrigeração e software como um único sistema.\u003c/p\u003e\n","tags":["Semicondutores","Data center de IA","SK hynix","Chips de IA","HBM"],"faqs":[{"question":"A computação centrada em memória significa substituir as GPUs por memória?","answer":"Não. As GPUs e outros aceleradores continuam responsáveis pelo processamento. A computação centrada em memória é uma abordagem que projeta em conjunto aceleradores, HBM, memória externa, armazenamento e rede para reduzir o tempo e a energia gastos na movimentação de dados."},{"question":"Por que o cache KV aumenta em contextos longos?","answer":"O transformador armazena, por camada, as informações de chave e valor dos tokens anteriores para não repetir o mesmo cálculo. Como o volume armazenado é, em geral, proporcional ao número de tokens, ao número de camadas, ao número de cabeças KV e ao tamanho do formato de dados, contextos longos e muitas solicitações simultâneas aumentam o uso de memória."},{"question":"Se a HBF tiver mais capacidade que a HBM, ela será necessariamente melhor?","answer":"Não. A HBF baseada em NAND tem como vantagens a alta densidade de integração e a não volatilidade, mas apresenta maior latência que a HBM baseada em DRAM, além de uma vida útil de gravação e um gerenciamento de erros mais complexos. Uma configuração em camadas, com os dados usados com frequência na HBM e os dados usados com menos frequência na HBF, é mais realista."},{"question":"Qual é a diferença entre a HBF e um SSD NVMe comum?","answer":"A HBF é um conceito que busca oferecer maior largura de banda que os SSDs convencionais ao conectar a memória flash NAND mais perto do acelerador por meio de uma interface mais ampla e paralela. O desempenho específico e o método de conexão podem variar conforme o produto e os resultados da padronização."},{"question":"Quais são as vantagens de empilhar verticalmente a GPU e a HBM?","answer":"A menor distância das conexões e a possibilidade de usar muitas interconexões verticais podem trazer vantagens em termos de largura de banda e consumo de energia de entrada e saída. Por outro lado, tornam-se mais difíceis os problemas relacionados à densidade térmica, ao fornecimento de energia, ao rendimento das interligações, aos testes e à refrigeração."},{"question":"As interconexões ópticas podem substituir a HBM?","answer":"As interconexões ópticas são adequadas para conectar vários aceleradores ou recursos de memória a longas distâncias, mas não substituem diretamente a baixa latência da HBM localizada ao lado do acelerador. É provável que as duas tecnologias atendam a distâncias e camadas de memória diferentes."},{"question":"A HBM personalizada pode eliminar o ciclo de preços da memória?","answer":"Projetos personalizados e contratos de fornecimento de longo prazo podem aumentar a estabilidade dos preços e fortalecer o relacionamento com os clientes em comparação com a memória de uso geral. No entanto, isso não elimina os efeitos das oscilações nos investimentos em AI, da capacidade de produção, do rendimento, da concentração de clientes e dos preços da DRAM de uso geral."},{"question":"O suporte a contextos longos elimina as alucinações de AI?","answer":"Não. Contextos longos podem fornecer mais evidências, mas ainda podem produzir respostas incorretas se a qualidade dos materiais recuperados, a capacidade do modelo, a estruturação das instruções e a verificação das fontes forem inadequadas. A expansão da memória é apenas uma das formas de mitigar alucinações."},{"question":"GHBM, HBF e THBM já são padrões industriais definidos?","answer":"Nem todas essas denominações devem ser consideradas padrões definidos no mesmo nível. Algumas podem ser nomes ainda na fase de anúncios empresariais ou propostas de pesquisa, por isso é necessário verificar separadamente as especificações de organismos de padronização, como a JEDEC, as especificações finais dos fabricantes e se há produção em massa efetiva."}],"sources":[{"url":"https://futurememorystorage.com/","title":"FMS: o futuro da memória e do armazenamento","type":"source"},{"url":"https://arxiv.org/abs/2309.06180","title":"Gerenciamento eficiente de memória para a disponibilização de modelos de linguagem de grande porte com PagedAttention","type":"source"},{"url":"https://arxiv.org/abs/2205.14135","title":"FlashAttention: atenção exata, rápida e eficiente em termos de memória, com reconhecimento de E/S","type":"source"},{"url":"https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/","title":"Dominando técnicas de LLM: otimização de inferência","type":"source"},{"url":"https://www.cxlconsortium.org/","title":"Consórcio Compute Express Link","type":"source"},{"url":"https://www.uciexpress.org/","title":"Consórcio UCIe","type":"source"}],"images":[{"id":716,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAxOCwicHVyIjoiYmxvYl9pZCJ9fQ==--5e9ff3355e5af64800fe3a3753eb07a1847f7fba/ai-db43622c.webp","is_representative":true,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"중앙 AI 칩과 RAM 모듈, 적층 메모리, 서버, 저장장치가 데이터 경로로 연결된 개념도","caption":"AI 반도체를 중심으로 메모리와 서버, 저장장치 사이의 데이터 흐름을 시각화했다.","description":null},"en":{"alt":"Central AI chip linked by data paths to RAM, stacked memory, servers, and storage","caption":"The illustration visualizes data flowing between an AI chip, memory, servers, and storage.","description":null},"ja":{"alt":"中央のAIチップとRAM、積層メモリ、サーバー、ストレージをデータ経路で結んだ概念図","caption":"AIチップを中心に、メモリやサーバー、ストレージ間のデータの流れを示している。","description":null},"es":{"alt":"Chip de IA central conectado por rutas de datos a RAM, memoria apilada, servidores y almacenamiento","caption":"La ilustración muestra el flujo de datos entre un chip de IA, la memoria, los servidores y el almacenamiento.","description":null},"id":{"alt":"Chip AI pusat terhubung melalui jalur data ke RAM, memori bertumpuk, server, dan penyimpanan","caption":"Ilustrasi ini memvisualisasikan aliran data antara chip AI, memori, server, dan penyimpanan.","description":null},"pt":{"alt":"Chip de IA central ligado por fluxos de dados à RAM, memória empilhada, servidores e armazenamento","caption":"A ilustração mostra o fluxo de dados entre um chip de IA, a memória, os servidores e o armazenamento.","description":null},"zh-hant":{"alt":"中央AI晶片透過資料路徑連接RAM、堆疊記憶體、伺服器與儲存裝置","caption":"插圖呈現AI晶片與記憶體、伺服器及儲存裝置之間的資料流動。","description":null},"de":{"alt":"Zentraler KI-Chip, über Datenpfade mit RAM, Stapelspeicher, Servern und Speichern verbunden","caption":"Die Illustration zeigt den Datenfluss zwischen einem KI-Chip, Speicher, Servern und Datenspeichern.","description":null}}},{"id":717,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6OTAyNCwicHVyIjoiYmxvYl9pZCJ9fQ==--0b4dbc6fd04a7a2893bbf9865c8b7e32463f6e20/ai-29d9b4a3.webp","is_representative":false,"generation_method":"ai_image","license":"ai_generated","mime_type":"image/webp","translations":{"ko":{"alt":"적층 메모리와 프로세서, 서버를 고속 링크로 연결한 AI 반도체 구조 일러스트","caption":"적층 메모리와 서버 간 데이터 흐름을 중심으로 AI 반도체 구조를 표현했다.","description":null},"en":{"alt":"Exploded AI chip with stacked memory, processor layers, server racks, and glowing data links","caption":"The illustration highlights data flow between stacked memory, processors, and servers.","description":null},"ja":{"alt":"積層メモリとプロセッサ、サーバーを高速リンクで結ぶAI半導体の構造図","caption":"積層メモリとサーバー間のデータフローを中心にAI半導体の構造を表している。","description":null},"es":{"alt":"Chip de IA por capas con memoria apilada, procesadores, servidores y enlaces de datos luminosos","caption":"La ilustración destaca el flujo de datos entre la memoria apilada, los procesadores y los servidores.","description":null},"id":{"alt":"Chip AI berlapis dengan memori bertumpuk, prosesor, rak server, dan jalur data bercahaya","caption":"Ilustrasi ini menyoroti aliran data antara memori bertumpuk, prosesor, dan server.","description":null},"pt":{"alt":"Chip de IA em camadas com memória empilhada, processadores, servidores e conexões luminosas","caption":"A ilustração destaca o fluxo de dados entre memória empilhada, processadores e servidores.","description":null},"zh-hant":{"alt":"分層AI晶片結合堆疊記憶體、處理器、伺服器機櫃與發光資料連線","caption":"此圖呈現堆疊記憶體、處理器與伺服器之間的資料流動。","description":null},"de":{"alt":"Mehrschichtiger KI-Chip mit gestapeltem Speicher, Prozessoren, Serverracks und leuchtenden Datenleitungen","caption":"Die Illustration zeigt den Datenfluss zwischen gestapeltem Speicher, Prozessoren und Servern.","description":null}}}],"published_at":"2026-08-17T21:47:47+09:00","updated_at":"2026-08-17T21:47:47+09:00","license":"cc_by","translation_status":"reviewed","available_locales":["ko","en","ja","es"],"data_locales":["ko","en","ja","es","id","pt","zh-hant","de"],"url":"https://injoys.com/en/articles/memory-centric-ai-chips-hbm-hbf-packaging"}