{"content_id":"favc2qgfc3","slug":"turboquant-kv-cache-compression-hbm-demand","locale":"pt","schema_type":"Article","category":"trends","category_name":"Tendências","title":"TurboQuant: cache KV 6x menor e avaliação da demanda por HBM","summary":"Em um experimento de busca de informações em textos longos, o Google reduziu o cache KV a no máximo 1/6 do tamanho original. O impacto na demanda por HBM depende da parcela da memória que o cache ocupava e de quanto aumenta o número de requisições processadas ao mesmo tempo após a compressão.","sponsorship_disclosure":null,"affiliate_disclosure":null,"commerce_disclosure":null,"author":{"name":"injoys","url":"https://injoys.com/ko/about"},"key_points":["A compressão de pelo menos 6 vezes anunciada pelo Google em março de 2026 foi medida no cache KV que o modelo de linguagem usa para gerar respostas.","Se o cache for reduzido a exatamente 1/6 do tamanho original, 6 requisições de mesmo tamanho ocuparão no cache o mesmo espaço que 1 requisição antes da compressão.","Em 26 de março de 2026, as ações da Samsung Electronics caíram 4,71% e as da SK hynix, 6,23% em relação ao pregão anterior.","Para verificar como a demanda por HBM está mudando, é preciso analisar tanto o volume de requisições que o serviço processa ao mesmo tempo quanto o volume que os fabricantes de memória de fato fornecem."],"content_markdown":"Nos experimentos, o TurboQuant do Google reduziu o cache KV usado para gerar respostas de IA a **no máximo um sexto do tamanho original**. Isso diminui a memória necessária por solicitação. A demanda total por memória de alta largura de banda (HBM) depende de quanto aumenta o número de solicitações processadas ao mesmo tempo.\n\nOs números de compressão vieram do anúncio do Google Research de 24 de março de 2026, e as cotações das ações têm como referência o fechamento de 26 de março.\n\n## O que é o cache KV que o TurboQuant comprime?\n\nO cache KV é um espaço de armazenamento temporário que o modelo de linguagem usa para consultar de novo o contexto anterior. O modelo divide o texto em unidades chamadas tokens para processá-lo. Ao armazenar as chaves e os valores (KV) calculados para cada token, o modelo não precisa repetir esse cálculo ao gerar o próximo token.\n\nQuanto mais longa a conversa, mais chaves e valores precisam ser armazenados. O TurboQuant representa esses números com menos bits. Isso se chama quantização. Os pesos que o modelo adquiriu durante o treinamento continuam ocupando espaço na memória mesmo depois da compressão do cache.\n\n## O que foi medido para chegar à compressão de 6 vezes e à velocidade de 8 vezes?\n\nOs dois fatores divulgados pelo Google se referem, respectivamente, ao espaço de armazenamento e à velocidade de um cálculo específico. A descrição dos experimentos publicada pelo Google Research em 24 de março de 2026 mostra o que foi comparado em cada caso.\n\n| Número divulgado | Condições do experimento | Resultado medido |\n|---|---|---|\n| No máximo um sexto da capacidade original | Tarefa de localizar informações escondidas em textos longos | Tamanho do cache KV após a redução, sem perda de desempenho na busca pela resposta correta |\n| Até 8 vezes a velocidade | Comparação entre chaves de 4 bits do TurboQuant e chaves de 32 bits sem compressão em uma GPU H100 | Velocidade de cálculo das pontuações que determinam quanto o modelo leva em conta os tokens anteriores |\n\n### Qualidade das respostas após a compressão\n\nO quanto da qualidade se preserva também depende do número de bits atribuído a cada número. Segundo o artigo científico, a qualidade das respostas se manteve nas avaliações mesmo com uma média de 3,5 bits por canal. Com uma média de 2,5 bits, a qualidade caiu ligeiramente. O tempo de resposta e a qualidade de um serviço real precisam ser avaliados com as perguntas que ele processa.\n\n## Um exemplo de cálculo com solicitações simultâneas e capacidade de memória\n\nSe o cache for reduzido a exatamente um sexto do tamanho original, 6 solicitações de mesmo comprimento usarão o mesmo espaço de cache que 1 solicitação antes da compressão. O cálculo usa 6 vezes, o limite inferior do fator de compressão relatado no experimento. Supõe-se que o modelo e o comprimento das solicitações sejam os mesmos e que o cache de cada solicitação seja armazenado separadamente.\n\n| Solicitações processadas ao mesmo tempo | Espaço total ocupado pelo cache KV após a compressão |\n|---|---|\n| 1 solicitação | Um sexto do espaço ocupado por 1 solicitação antes da compressão |\n| 6 solicitações | O mesmo espaço ocupado por 1 solicitação antes da compressão |\n| Mais de 6 solicitações | Mais espaço do que o ocupado por 1 solicitação antes da compressão |\n\nPara calcular a economia no servidor como um todo, é preciso saber quantos bytes o cache ocupava antes da compressão. Nessas condições, o espaço economizado corresponde a cinco sextos do tamanho original do cache. Quanto menor a parcela da memória total ocupada pelo cache, menor o percentual de economia no servidor como um todo.\n\n## Condições em que a demanda por HBM diminui ou aumenta\n\nA demanda por compras de HBM depende de como a operadora do serviço usa o espaço economizado. A capacidade da HBM é a quantidade de dados que ela pode armazenar de uma só vez. A largura de banda é a quantidade de dados que pode ser transferida em determinado intervalo de tempo. Para calcular o volume de compras a partir do tamanho do cache medido no experimento, é preciso saber qual dos dois fatores, capacidade ou largura de banda, limitava a expansão dos servidores.\n\n| Condições de operação do serviço | Possível efeito sobre a demanda por HBM |\n|---|---|\n| O número e o comprimento das solicitações permanecem constantes e havia planos de expansão por falta de espaço para o cache | O espaço liberado nos equipamentos existentes pode adiar novas compras. |\n| Os mesmos equipamentos passam a receber mais solicitações simultâneas | O espaço economizado pode ser usado para o cache das novas solicitações. |\n| A queda nos custos provoca um grande aumento no uso de serviços que processam documentos longos | Se o aumento da carga de trabalho superar a economia por solicitação, o uso total de memória pode crescer. |\n\nQuando um ganho de eficiência é seguido por um aumento ainda maior no uso, elevando o consumo total do recurso, ocorre o chamado paradoxo de Jevons. Nos serviços de IA, o que importa é quanto o uso realmente aumenta depois que o custo de processamento cai. Para avaliar a receita dos fabricantes de memória, também é preciso analisar separadamente os volumes expedidos e os preços de venda.\n\n## O que explica a queda das ações de semicondutores em 26 de março\n\nEm 26 de março de 2026, o receio de uma desaceleração na demanda por memória coincidiu com a incerteza sobre a situação no Oriente Médio. O Banco da Coreia apontou os dois fatores como causas da queda da bolsa naquele dia. A taxa de câmbio encerrou o pregão diurno em 1.507,0 wons por dólar, 7,3 wons acima do dia anterior.\n\n| Índice ou ação | Variação em 26 de março de 2026 em relação ao pregão anterior | Fechamento do índice |\n|---|---:|---:|\n| KOSPI | -3,35% | 5.460,46 pontos |\n| KOSDAQ | Queda na casa dos 2% | 1.136,64 pontos |\n| Samsung Electronics | -4,71% | Não se aplica |\n| SK hynix | -6,23% | Não se aplica |\n\nNa ocasião da publicação, a Samsung Securities apurou vendas líquidas de 3 trilhões e 111 bilhões de wons por parte de investidores estrangeiros no mercado de valores mobiliários. No mesmo dia, a Alteogen, que comunicou ao mercado uma exportação de tecnologia, subiu 6,28%. A Hanwha Solutions, que anunciou um aumento de capital por subscrição de ações, caiu 18,22%. Só pela variação de um dia, é difícil isolar o efeito do TurboQuant sobre os pedidos recebidos por cada empresa.\n\n## Indicadores a acompanhar nos resultados das empresas de semicondutores\n\nPara avaliar a demanda por HBM, é preciso distinguir o volume encomendado pelos clientes do volume efetivamente fornecido pelos fabricantes. Na divulgação de resultados de 23 de abril de 2026, a SK hynix informou que ampliou as vendas de produtos de alto valor agregado, como HBM, no primeiro trimestre. Esse trimestre também inclui o período anterior ao anúncio do TurboQuant em março.\n\n- Os modelos e as tarefas em que a operadora aplicou a compressão mostram o alcance da adoção no serviço.\n- Para comparar a economia de memória, é preciso medir o uso de memória do servidor como um todo com o mesmo comprimento de solicitação e o mesmo número de solicitações simultâneas.\n- Nos resultados divulgados pelas empresas, é possível verificar separadamente os períodos a que se referem os volumes de HBM expedidos e os planos de fornecimento futuro.","content_html":"\u003cp\u003eNos experimentos, o TurboQuant do Google reduziu o cache KV usado para gerar respostas de IA a \u003cstrong\u003eno máximo um sexto do tamanho original\u003c/strong\u003e. Isso diminui a memória necessária por solicitação. A demanda total por memória de alta largura de banda (HBM) depende de quanto aumenta o número de solicitações processadas ao mesmo tempo.\u003c/p\u003e\n\u003cp\u003eOs números de compressão vieram do anúncio do Google Research de 24 de março de 2026, e as cotações das ações têm como referência o fechamento de 26 de março.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#o-que-%C3%A9-o-cache-kv-que-o-turboquant-comprime\" class=\"anchor\" id=\"o-que-é-o-cache-kv-que-o-turboquant-comprime\"\u003e\u003c/a\u003eO que é o cache KV que o TurboQuant comprime?\u003c/h2\u003e\n\u003cp\u003eO cache KV é um espaço de armazenamento temporário que o modelo de linguagem usa para consultar de novo o contexto anterior. O modelo divide o texto em unidades chamadas tokens para processá-lo. Ao armazenar as chaves e os valores (KV) calculados para cada token, o modelo não precisa repetir esse cálculo ao gerar o próximo token.\u003c/p\u003e\n\u003cp\u003eQuanto mais longa a conversa, mais chaves e valores precisam ser armazenados. O TurboQuant representa esses números com menos bits. Isso se chama quantização. Os pesos que o modelo adquiriu durante o treinamento continuam ocupando espaço na memória mesmo depois da compressão do cache.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#o-que-foi-medido-para-chegar-%C3%A0-compress%C3%A3o-de-6-vezes-e-%C3%A0-velocidade-de-8-vezes\" class=\"anchor\" id=\"o-que-foi-medido-para-chegar-à-compressão-de-6-vezes-e-à-velocidade-de-8-vezes\"\u003e\u003c/a\u003eO que foi medido para chegar à compressão de 6 vezes e à velocidade de 8 vezes?\u003c/h2\u003e\n\u003cp\u003eOs dois fatores divulgados pelo Google se referem, respectivamente, ao espaço de armazenamento e à velocidade de um cálculo específico. A descrição dos experimentos publicada pelo Google Research em 24 de março de 2026 mostra o que foi comparado em cada caso.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eNúmero divulgado\u003c/th\u003e\n\u003cth\u003eCondições do experimento\u003c/th\u003e\n\u003cth\u003eResultado medido\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Número divulgado\"\u003eNo máximo um sexto da capacidade original\u003c/td\u003e\n\u003ctd data-label=\"Condições do experimento\"\u003eTarefa de localizar informações escondidas em textos longos\u003c/td\u003e\n\u003ctd data-label=\"Resultado medido\"\u003eTamanho do cache KV após a redução, sem perda de desempenho na busca pela resposta correta\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Número divulgado\"\u003eAté 8 vezes a velocidade\u003c/td\u003e\n\u003ctd data-label=\"Condições do experimento\"\u003eComparação entre chaves de 4 bits do TurboQuant e chaves de 32 bits sem compressão em uma GPU H100\u003c/td\u003e\n\u003ctd data-label=\"Resultado medido\"\u003eVelocidade de cálculo das pontuações que determinam quanto o modelo leva em conta os tokens anteriores\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003ch3\u003e\n\u003ca href=\"#qualidade-das-respostas-ap%C3%B3s-a-compress%C3%A3o\" class=\"anchor\" id=\"qualidade-das-respostas-após-a-compressão\"\u003e\u003c/a\u003eQualidade das respostas após a compressão\u003c/h3\u003e\n\u003cp\u003eO quanto da qualidade se preserva também depende do número de bits atribuído a cada número. Segundo o artigo científico, a qualidade das respostas se manteve nas avaliações mesmo com uma média de 3,5 bits por canal. Com uma média de 2,5 bits, a qualidade caiu ligeiramente. O tempo de resposta e a qualidade de um serviço real precisam ser avaliados com as perguntas que ele processa.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#um-exemplo-de-c%C3%A1lculo-com-solicita%C3%A7%C3%B5es-simult%C3%A2neas-e-capacidade-de-mem%C3%B3ria\" class=\"anchor\" id=\"um-exemplo-de-cálculo-com-solicitações-simultâneas-e-capacidade-de-memória\"\u003e\u003c/a\u003eUm exemplo de cálculo com solicitações simultâneas e capacidade de memória\u003c/h2\u003e\n\u003cp\u003eSe o cache for reduzido a exatamente um sexto do tamanho original, 6 solicitações de mesmo comprimento usarão o mesmo espaço de cache que 1 solicitação antes da compressão. O cálculo usa 6 vezes, o limite inferior do fator de compressão relatado no experimento. Supõe-se que o modelo e o comprimento das solicitações sejam os mesmos e que o cache de cada solicitação seja armazenado separadamente.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eSolicitações processadas ao mesmo tempo\u003c/th\u003e\n\u003cth\u003eEspaço total ocupado pelo cache KV após a compressão\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Solicitações processadas ao mesmo tempo\"\u003e1 solicitação\u003c/td\u003e\n\u003ctd data-label=\"Espaço total ocupado pelo cache KV após a compressão\"\u003eUm sexto do espaço ocupado por 1 solicitação antes da compressão\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Solicitações processadas ao mesmo tempo\"\u003e6 solicitações\u003c/td\u003e\n\u003ctd data-label=\"Espaço total ocupado pelo cache KV após a compressão\"\u003eO mesmo espaço ocupado por 1 solicitação antes da compressão\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Solicitações processadas ao mesmo tempo\"\u003eMais de 6 solicitações\u003c/td\u003e\n\u003ctd data-label=\"Espaço total ocupado pelo cache KV após a compressão\"\u003eMais espaço do que o ocupado por 1 solicitação antes da compressão\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003ePara calcular a economia no servidor como um todo, é preciso saber quantos bytes o cache ocupava antes da compressão. Nessas condições, o espaço economizado corresponde a cinco sextos do tamanho original do cache. Quanto menor a parcela da memória total ocupada pelo cache, menor o percentual de economia no servidor como um todo.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#condi%C3%A7%C3%B5es-em-que-a-demanda-por-hbm-diminui-ou-aumenta\" class=\"anchor\" id=\"condições-em-que-a-demanda-por-hbm-diminui-ou-aumenta\"\u003e\u003c/a\u003eCondições em que a demanda por HBM diminui ou aumenta\u003c/h2\u003e\n\u003cp\u003eA demanda por compras de HBM depende de como a operadora do serviço usa o espaço economizado. A capacidade da HBM é a quantidade de dados que ela pode armazenar de uma só vez. A largura de banda é a quantidade de dados que pode ser transferida em determinado intervalo de tempo. Para calcular o volume de compras a partir do tamanho do cache medido no experimento, é preciso saber qual dos dois fatores, capacidade ou largura de banda, limitava a expansão dos servidores.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eCondições de operação do serviço\u003c/th\u003e\n\u003cth\u003ePossível efeito sobre a demanda por HBM\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Condições de operação do serviço\"\u003eO número e o comprimento das solicitações permanecem constantes e havia planos de expansão por falta de espaço para o cache\u003c/td\u003e\n\u003ctd data-label=\"Possível efeito sobre a demanda por HBM\"\u003eO espaço liberado nos equipamentos existentes pode adiar novas compras.\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Condições de operação do serviço\"\u003eOs mesmos equipamentos passam a receber mais solicitações simultâneas\u003c/td\u003e\n\u003ctd data-label=\"Possível efeito sobre a demanda por HBM\"\u003eO espaço economizado pode ser usado para o cache das novas solicitações.\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Condições de operação do serviço\"\u003eA queda nos custos provoca um grande aumento no uso de serviços que processam documentos longos\u003c/td\u003e\n\u003ctd data-label=\"Possível efeito sobre a demanda por HBM\"\u003eSe o aumento da carga de trabalho superar a economia por solicitação, o uso total de memória pode crescer.\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eQuando um ganho de eficiência é seguido por um aumento ainda maior no uso, elevando o consumo total do recurso, ocorre o chamado paradoxo de Jevons. Nos serviços de IA, o que importa é quanto o uso realmente aumenta depois que o custo de processamento cai. Para avaliar a receita dos fabricantes de memória, também é preciso analisar separadamente os volumes expedidos e os preços de venda.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#o-que-explica-a-queda-das-a%C3%A7%C3%B5es-de-semicondutores-em-26-de-mar%C3%A7o\" class=\"anchor\" id=\"o-que-explica-a-queda-das-ações-de-semicondutores-em-26-de-março\"\u003e\u003c/a\u003eO que explica a queda das ações de semicondutores em 26 de março\u003c/h2\u003e\n\u003cp\u003eEm 26 de março de 2026, o receio de uma desaceleração na demanda por memória coincidiu com a incerteza sobre a situação no Oriente Médio. O Banco da Coreia apontou os dois fatores como causas da queda da bolsa naquele dia. A taxa de câmbio encerrou o pregão diurno em 1.507,0 wons por dólar, 7,3 wons acima do dia anterior.\u003c/p\u003e\n\u003cdiv class=\"overflow-x-auto\"\u003e\u003ctable\u003e\n\u003cthead\u003e\n\u003ctr\u003e\n\u003cth\u003eÍndice ou ação\u003c/th\u003e\n\u003cth\u003eVariação em 26 de março de 2026 em relação ao pregão anterior\u003c/th\u003e\n\u003cth\u003eFechamento do índice\u003c/th\u003e\n\u003c/tr\u003e\n\u003c/thead\u003e\n\u003ctbody\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Índice ou ação\"\u003eKOSPI\u003c/td\u003e\n\u003ctd data-label=\"Variação em 26 de março de 2026 em relação ao pregão anterior\"\u003e-3,35%\u003c/td\u003e\n\u003ctd data-label=\"Fechamento do índice\"\u003e5.460,46 pontos\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Índice ou ação\"\u003eKOSDAQ\u003c/td\u003e\n\u003ctd data-label=\"Variação em 26 de março de 2026 em relação ao pregão anterior\"\u003eQueda na casa dos 2%\u003c/td\u003e\n\u003ctd data-label=\"Fechamento do índice\"\u003e1.136,64 pontos\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Índice ou ação\"\u003eSamsung Electronics\u003c/td\u003e\n\u003ctd data-label=\"Variação em 26 de março de 2026 em relação ao pregão anterior\"\u003e-4,71%\u003c/td\u003e\n\u003ctd data-label=\"Fechamento do índice\"\u003eNão se aplica\u003c/td\u003e\n\u003c/tr\u003e\n\u003ctr\u003e\n\u003ctd data-label=\"Índice ou ação\"\u003eSK hynix\u003c/td\u003e\n\u003ctd data-label=\"Variação em 26 de março de 2026 em relação ao pregão anterior\"\u003e-6,23%\u003c/td\u003e\n\u003ctd data-label=\"Fechamento do índice\"\u003eNão se aplica\u003c/td\u003e\n\u003c/tr\u003e\n\u003c/tbody\u003e\n\u003c/table\u003e\u003c/div\u003e\n\u003cp\u003eNa ocasião da publicação, a Samsung Securities apurou vendas líquidas de 3 trilhões e 111 bilhões de wons por parte de investidores estrangeiros no mercado de valores mobiliários. No mesmo dia, a Alteogen, que comunicou ao mercado uma exportação de tecnologia, subiu 6,28%. A Hanwha Solutions, que anunciou um aumento de capital por subscrição de ações, caiu 18,22%. Só pela variação de um dia, é difícil isolar o efeito do TurboQuant sobre os pedidos recebidos por cada empresa.\u003c/p\u003e\n\u003ch2\u003e\n\u003ca href=\"#indicadores-a-acompanhar-nos-resultados-das-empresas-de-semicondutores\" class=\"anchor\" id=\"indicadores-a-acompanhar-nos-resultados-das-empresas-de-semicondutores\"\u003e\u003c/a\u003eIndicadores a acompanhar nos resultados das empresas de semicondutores\u003c/h2\u003e\n\u003cp\u003ePara avaliar a demanda por HBM, é preciso distinguir o volume encomendado pelos clientes do volume efetivamente fornecido pelos fabricantes. Na divulgação de resultados de 23 de abril de 2026, a SK hynix informou que ampliou as vendas de produtos de alto valor agregado, como HBM, no primeiro trimestre. Esse trimestre também inclui o período anterior ao anúncio do TurboQuant em março.\u003c/p\u003e\n\u003cul\u003e\n\u003cli\u003eOs modelos e as tarefas em que a operadora aplicou a compressão mostram o alcance da adoção no serviço.\u003c/li\u003e\n\u003cli\u003ePara comparar a economia de memória, é preciso medir o uso de memória do servidor como um todo com o mesmo comprimento de solicitação e o mesmo número de solicitações simultâneas.\u003c/li\u003e\n\u003cli\u003eNos resultados divulgados pelas empresas, é possível verificar separadamente os períodos a que se referem os volumes de HBM expedidos e os planos de fornecimento futuro.\u003c/li\u003e\n\u003c/ul\u003e\n","tags":["IA generativa","Data center de IA","Samsung Electronics","SK hynix","Chips de IA","HBM"],"faqs":[{"question":"Com o TurboQuant, é possível reduzir de 6 para 1 o número de chips HBM?","answer":"A compressão por um fator de pelo menos 6, medida pelo Google, se aplica à capacidade do cache KV. Para estimar quantos chips HBM são necessários, é preciso saber a capacidade total de memória exigida, incluindo o espaço ocupado pelos pesos do modelo, e a largura de banda necessária."},{"question":"Com o TurboQuant, a memória necessária para treinar uma IA também cai para 1/6?","answer":"Esse valor foi medido no cache KV que um modelo de linguagem já treinado usa para buscar informações em textos longos. Esse experimento não permite calcular o percentual de redução da memória total necessária para treinar o modelo."},{"question":"O valor de até 8 vezes também se aplica ao tempo que leva para receber uma resposta?","answer":"A equipe de pesquisa comparou, em uma GPU H100, a velocidade de cálculo da pontuação que determina até que ponto os tokens anteriores são levados em conta. Para avaliar a velocidade da resposta como um todo, é preciso medir o tempo desde o processamento da entrada até a conclusão da saída."},{"question":"Ao comprimir o cache, a qualidade das respostas se mantém em conversas longas?","answer":"A equipe de pesquisa do Google manteve o desempenho na identificação das respostas corretas em um teste de busca de informações escondidas em textos longos. Segundo o artigo, a qualidade caiu ligeiramente quando a média foi reduzida para 2,5 bits por canal."},{"question":"Além do cache KV dos modelos de linguagem, onde o TurboQuant pode ser usado?","answer":"A equipe de pesquisa também aplicou o TurboQuant à busca vetorial, que encontra itens com significados semelhantes. Nesse caso, os números que representam as características dos itens pesquisados são comprimidos, e depois se avalia com que eficácia a busca encontra os itens desejados."},{"question":"O artigo sobre o TurboQuant foi divulgado pela primeira vez em março de 2026?","answer":"Os pesquisadores publicaram o artigo pela primeira vez no arXiv em 28 de abril de 2025. O Google Research apresentou os resultados da pesquisa em 25 de março de 2026 (horário local)."},{"question":"A queda das ações em 26 de março permite confirmar uma redução nos pedidos de HBM?","answer":"Naquele dia, o preço das ações refletiu tanto as preocupações com a demanda futura por memória quanto a situação no Oriente Médio. Mudanças efetivas nos pedidos devem ser verificadas nos contratos de fornecimento com os clientes ou nos dados de remessas de HBM dos trimestres seguintes."}],"sources":[{"url":"https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/","title":"Google Research, TurboQuant: Redefinindo a eficiência da IA com compressão extrema","type":"source"},{"url":"https://arxiv.org/abs/2504.19874","title":"TurboQuant: Quantização vetorial online com taxa de distorção quase ótima","type":"source"},{"url":"https://www.samsungpop.com/common.do?cmd=down\u0026contentType=application%2Fpdf\u0026fileName=4020%2F2026032616002001K_02_02.pdf\u0026inlineYn=Y\u0026saveKey=research.pdf","title":"Samsung Securities, panorama do mercado doméstico no fechamento de 26 de março de 2026","type":"data_point"},{"url":"https://www.bok.or.kr/portal/bbs/P0002018/view.do?menuNo=200366\u0026nttId=10097172","title":"Banco da Coreia, principais indicadores do mercado financeiro (3.27), operações de 26 de março de 2026","type":"data_point"},{"url":"https://news.skhynix.co.kr/q1-2026-business-results/","title":"SK hynix, divulgação dos resultados do 1º trimestre de 2026","type":"source"}],"images":[{"id":3230,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6NDg3MTcsInB1ciI6ImJsb2JfaWQifX0=--aa9e0ea7054675bdd74ce1f5ae9ed2310f6ece0e/ai-b752b70d.webp","is_representative":true,"generation_method":"ai_photo","license":"ai_generated","mime_type":"image/webp","width":1536,"height":1024,"translations":{"ko":{"alt":"자동 검사 장비 아래 검은 트레이에 줄지어 놓인 적층 HBM 칩","caption":"HBM 수요 변화를 판단하려면 서비스가 동시에 처리하는 요청 수와 메모리 업체의 실제 공급량을 함께 봐야 한다.","description":null},"en":{"alt":"Rows of stacked HBM chips in a black tray beneath an automated inspection station.","caption":"To gauge changes in HBM demand, track both how many requests services handle at once and how much memory suppliers actually deliver.","description":null},"ja":{"alt":"自動検査装置の下で、黒いトレーに整列した積層HBMチップ","caption":"HBMの需要変化を見極めるには、サービスが同時に処理するリクエスト数とメモリメーカーの実際の供給量をあわせて見る必要がある。","description":null},"es":{"alt":"Filas de chips HBM apilados en una bandeja negra bajo un equipo de inspección automática.","caption":"Para evaluar los cambios en la demanda de HBM, hay que observar cuántas solicitudes procesan los servicios a la vez y cuánta memoria suministran realmente los fabricantes.","description":null},"id":{"alt":"Deretan cip HBM bertumpuk di baki hitam di bawah alat inspeksi otomatis.","caption":"Untuk menilai perubahan permintaan HBM, perhatikan jumlah permintaan yang ditangani layanan secara bersamaan dan volume memori yang benar-benar dipasok produsen.","description":null},"pt":{"alt":"Fileiras de chips HBM empilhados em uma bandeja preta sob um equipamento de inspeção automática.","caption":"Para avaliar mudanças na demanda por HBM, é preciso acompanhar quantas solicitações os serviços processam ao mesmo tempo e quanta memória os fabricantes de fato fornecem.","description":null},"zh-hant":{"alt":"自動檢測設備下方，黑色托盤上整齊排列著堆疊式 HBM 晶片。","caption":"要判斷 HBM 需求的變化，須同時觀察服務並行處理的請求數量與記憶體廠商的實際供貨量。","description":null},"de":{"alt":"Reihen gestapelter HBM-Chips in einem schwarzen Träger unter einer automatischen Prüfanlage.","caption":"Um Änderungen der HBM-Nachfrage einzuschätzen, muss man sowohl die Zahl gleichzeitig verarbeiteter Anfragen als auch die tatsächlichen Liefermengen der Speicherhersteller betrachten.","description":null}}},{"id":3231,"url":"https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6NDg3MjMsInB1ciI6ImJsb2JfaWQifX0=--a684b87ab351231630b796a548a827c9949128a0/ai-e219098b.webp","is_representative":false,"generation_method":"ai_semi","license":"ai_generated","mime_type":"image/webp","width":1536,"height":1024,"translations":{"ko":{"alt":"짙은 회색 코트를 입은 여성이 점선 아래로 빨간 막대 두 개가 내려간 전광판을 바라본다.","caption":"2026년 3월 26일 삼성전자와 SK하이닉스 주가는 전 거래일보다 각각 4.71%, 6.23% 하락했다.","description":null},"en":{"alt":"A woman in a charcoal coat glances at a screen with two red bars extending below a dashed line.","caption":"On March 26, 2026, Samsung Electronics and SK Hynix shares fell 4.71% and 6.23%, respectively, from the previous close.","description":null},"ja":{"alt":"濃いグレーのコートを着た女性が、破線の下に赤い棒が2本伸びる画面に目を向けている。","caption":"2026年3月26日、サムスン電子とSKハイニックスの株価は前営業日比でそれぞれ4.71％、6.23％下落した。","description":null},"es":{"alt":"Una mujer con abrigo gris oscuro mira una pantalla con dos barras rojas por debajo de una línea discontinua.","caption":"El 26 de marzo de 2026, las acciones de Samsung Electronics y SK Hynix cayeron un 4,71 % y un 6,23 %, respectivamente, frente al cierre anterior.","description":null},"id":{"alt":"Seorang perempuan berjas abu-abu gelap melirik layar dengan dua batang merah di bawah garis putus-putus.","caption":"Pada 26 Maret 2026, saham Samsung Electronics dan SK Hynix masing-masing turun 4,71% dan 6,23% dari penutupan sebelumnya.","description":null},"pt":{"alt":"Uma mulher de casaco cinza-escuro olha para uma tela com duas barras vermelhas abaixo de uma linha tracejada.","caption":"Em 26 de março de 2026, as ações da Samsung Electronics e da SK Hynix caíram 4,71% e 6,23%, respectivamente, ante o fechamento anterior.","description":null},"zh-hant":{"alt":"一名穿深灰色大衣的女子側望螢幕，上面有兩根紅色長條從虛線向下延伸。","caption":"2026年3月26日，三星電子與SK海力士的股價較前一交易日分別下跌4.71%和6.23%。","description":null},"de":{"alt":"Eine Frau im dunkelgrauen Mantel blickt auf einen Bildschirm mit zwei roten Balken unter einer gestrichelten Linie.","caption":"Am 26. März 2026 fielen die Aktien von Samsung Electronics und SK Hynix gegenüber dem vorherigen Schlusskurs um 4,71 % beziehungsweise 6,23 %.","description":null}}}],"published_at":"2026-11-21T09:02:17+09:00","updated_at":"2026-11-21T09:02:17+09:00","license":"cc_by","translation_status":"reviewed","available_locales":["ko","en","ja","es"],"data_locales":["ko","en","ja","es","id","pt","zh-hant","de"],"url":"https://injoys.com/en/articles/turboquant-kv-cache-compression-hbm-demand"}