---
title: "Pesos abertos e IA local substituirão a inferência em data centers?"
locale: pt
category: ai_data
category_name: "Dados de IA"
translation_status: reviewed
license: cc_by
author: "injoys"
source_url: https://injoys.com/en/articles/open-weight-local-ai-vs-datacenter-inference
published_at: 2026-08-29T01:01:28+09:00
---

# Pesos abertos e IA local substituirão a inferência em data centers?

> Mesmo com o avanço dos modelos de pesos abertos e do hardware pessoal, é provável que a inferência de alto desempenho continue concentrada nos data centers devido à diferença relativa em relação aos melhores modelos de data center, ao processamento em lote, à utilização dos equipamentos e à demanda por agentes de IA complexos. No entanto, em tarefas nas quais baixa latência, proteção de dados pessoais e operação offline são importantes, uma arquitetura híbrida que combine modelos locais e de data center é uma opção promissora.

## Key Points

- Os modelos locais do futuro devem ser comparados não com os melhores modelos de hoje, mas com os modelos de data center disponíveis no mesmo período.
- Escolher um modelo pequeno e decidir executar um modelo localmente são decisões distintas.
- Os data centers podem reduzir o custo por solicitação por meio do processamento em lote, de aceleradores dedicados e da alta utilização dos equipamentos, mas nem sempre são mais baratos para todas as tarefas.
- A IA local se destaca em ambientes nos quais baixa latência, operação offline, proteção de dados pessoais, operação em redes fechadas e controle do modelo são importantes.
- A estrutura futura mais prática se aproxima de um modelo híbrido, no qual os modelos locais cuidam do processamento imediato e da classificação das solicitações, enquanto os modelos de data center realizam inferências complexas.

Os modelos de pesos abertos estão evoluindo para se tornarem pequenos e eficientes o suficiente para rodar rapidamente até mesmo em PCs e smartphones. Isso, porém, não permite concluir que, no longo prazo, a maior parte da inferência de IA de alto desempenho migrará dos data centers para os dispositivos pessoais. Enquanto os modelos locais evoluem, os modelos de ponta, os aceleradores e os softwares de inferência dos data centers também avançam.

A pergunta central não é “um notebook do futuro conseguirá executar o melhor modelo de hoje?”. É preciso comparar, entre os modelos locais e os modelos de data center disponíveis no mesmo momento, qual deles conclui a tarefa desejada com mais precisão e economia.

## Quatro conceitos que precisam ser diferenciados primeiro

No debate sobre IA local, a forma de disponibilização do modelo, seu tamanho e o local de execução são frequentemente confundidos. Os conceitos a seguir representam eixos distintos.

| Conceito | Significado | O que não significa necessariamente |
|---|---|---|
| Pesos abertos | Modelo cujos pesos treinados podem ser baixados e executados | IA de código aberto que também disponibiliza os dados de treinamento e todo o código de treinamento |
| Modelo pequeno | Modelo com quantidade de parâmetros e requisitos computacionais relativamente reduzidos | Modelo executado somente em dispositivos pessoais |
| Inferência local ou no dispositivo | Execução próxima ao usuário, como em smartphones, notebooks e estações de trabalho | Forma de execução sempre barata ou ambientalmente sustentável |
| Hospedagem própria | Execução em servidores ou data centers privados controlados pela organização | Execução em dispositivos pessoais |

Os modelos de pesos abertos são disponibilizados com licenças que concedem direitos de distribuição e modificação, mas o escopo de uso e as condições de redistribuição variam de um modelo para outro. O simples fato de os pesos estarem disponíveis não significa que os dados de treinamento, o processo de treinamento e o código-fonte também tenham sido integralmente divulgados.

Além disso, a dicotomia “local versus nuvem” não é suficiente. Entre os dispositivos e as grandes nuvens públicas, existem diversos locais de execução, como servidores GPU internos de empresas, servidores de borda de operadoras e nuvens privadas.

## Os modelos locais do futuro competirão com os modelos de data center do futuro

Com os avanços na compressão de modelos, quantização, destilação de conhecimento e otimização de mecanismos de inferência, poderá ser possível obter, em futuros dispositivos pessoais, um desempenho que hoje exige equipamentos de nível de servidor. Isso, porém, não significa que os modelos locais alcançarão os modelos de ponta daquele momento.

No lado dos data centers, os seguintes elementos também evoluem em conjunto:

- Modelos maiores e novas arquiteturas, como modelos de mistura de especialistas
- Memória de alta largura de banda e conexões de alta velocidade entre aceleradores
- Sistemas de inferência que utilizam contextos longos e ferramentas externas
- Otimizações de serviço, como batching, gerenciamento de cache, quantização e decodificação especulativa
- Sistemas compostos que combinam vários modelos com ferramentas de busca e execução de código

Portanto, o critério de comparação deve ser o desempenho relativo, e não o desempenho absoluto. Mesmo que, daqui a alguns anos, seja possível executar em um notebook um modelo poderoso no nível dos atuais, os sistemas de data center disponíveis naquele mesmo momento provavelmente conseguirão processar tarefas mais longas, contextos maiores e mais chamadas de ferramentas.

Naturalmente, também não há garantia de que essa diferença será mantida permanentemente. Se as melhorias de desempenho dos grandes modelos desacelerarem ou se os modelos pequenos ultrapassarem o limiar de qualidade na maioria das atividades profissionais, a competitividade da execução local poderá aumentar significativamente.

## À medida que as expectativas dos usuários crescem, o padrão de um “modelo bom o suficiente” também muda

As tarefas representativas do início da IA generativa eram respostas a perguntas curtas, redação de frases, resumos e geração de trechos de código. Agora, os usuários exigem tarefas de longa duração, como:

- Ler uma base de código inteira e modificar vários arquivos de maneira consistente
- Executar testes, rastrear as causas das falhas e fazer novas correções
- Pesquisar diversos materiais e comparar evidências conflitantes
- Usar várias ferramentas em sequência, como navegador, banco de dados e terminal
- Concluir planos de longo prazo preservando os resultados intermediários

Em solicitações curtas e simples, pequenas diferenças de qualidade podem passar despercebidas. No entanto, em tarefas de agentes de IA com muitas etapas, os erros de cada etapa se acumulam. Um modelo relativamente fraco tem maior probabilidade de perder de vista objetivos ou restrições, selecionar a ferramenta errada ou repetir a mesma falha.

Por isso, em vez de simplesmente escolher um modelo capaz de rodar, o usuário pode optar por aquele que oferece maior probabilidade de concluir a tarefa dentro do orçamento e do limite de latência. Mesmo um modelo que já foi excelente pode parecer frustrante em trabalhos complexos depois que o usuário experimenta um modelo mais confiável.

Também existe um efeito na direção oposta. Se melhorias de qualidade acima de determinado nível praticamente não alterarem os resultados do trabalho real, um modelo pequeno e barato será uma escolha racional. Em última análise, a escolha do modelo deve ser avaliada com base na taxa de conclusão das próprias tarefas, no número de novas tentativas e no tempo de revisão, e não apenas nas pontuações de benchmarks.

## Vantagens estruturais dos data centers no custo de inferência

### O batching distribui o custo da leitura dos pesos do modelo entre várias solicitações

Para gerar tokens, um LLM precisa acessar repetidamente os pesos em grande escala e os estados intermediários armazenados na memória da GPU. Em especial, a etapa de decodificação com lotes pequenos pode sofrer grandes restrições não apenas da capacidade de computação, mas também da largura de banda da memória.

Os data centers podem agrupar solicitações de vários usuários ou executá-las com batching contínuo, processando vários tokens em um único acesso aos pesos. Quando há um fluxo contínuo de muitas solicitações, o espaço deixado pelo término de uma solicitação pode ser ocupado por outra, reduzindo o tempo ocioso dos aceleradores.

Como os usuários individuais geram poucas solicitações simultâneas, é difícil obter esse efeito na mesma escala. No entanto, aumentar indiscriminadamente o tamanho do lote eleva a latência até o primeiro token e o tempo de resposta de cada solicitação, além de exigir mais memória para o cache KV. A vantagem dos data centers não está no batching em si, mas na capacidade de ajustar muitas solicitações de acordo com as metas de latência.

### Os aceleradores dedicados e a configuração dos sistemas são diferentes

As GPUs de consumo também oferecem excelente desempenho para inferência local. No entanto, os grandes data centers geralmente podem utilizar mais memória de acelerador, maior largura de banda de memória, conexões de alta velocidade entre aceleradores e redes de nível de servidor. Essas diferenças se tornam importantes ao distribuir modelos grandes entre vários equipamentos ou ao processar contextos longos.

Isso não significa que as GPUs para data centers sejam mais econômicas do que as GPUs de consumo em todas as condições. Se um modelo pequeno for usado esporadicamente e já houver equipamento adequado disponível, o desembolso em dinheiro para a execução local poderá ser baixo. Por outro lado, quando há um alto volume de processamento contínuo ou compartilhamento entre vários usuários, aumentam as vantagens dos equipamentos de servidor e dos softwares especializados de serviço.

### A taxa de utilização altera o custo total

Calcular o custo da inferência como zero apenas porque o preço de compra da GPU local já foi pago subestima o custo econômico. O custo total inclui os seguintes itens:

- Custo de compra de GPU, memória, armazenamento e fonte de alimentação
- Depreciação ou custo de oportunidade ao longo da vida útil do equipamento
- Custos de energia e refrigeração durante a inferência
- Tempo gasto com instalação, atualizações, resposta a falhas e gerenciamento de segurança
- Baixa taxa de utilização enquanto o equipamento permanece ocioso

Os serviços de data center também incorporam em seus preços os custos de aceleradores, redes, energia, mão de obra e margem do operador. Portanto, a opção mais barata entre execução local e API depende do volume de uso, do tamanho do modelo, da disponibilidade prévia de equipamentos, do preço da eletricidade, da velocidade de resposta e da equipe operacional.

Estimativas segundo as quais pode haver uma diferença de eficiência de dezenas de vezes em determinados ambientes não devem ser usadas como uma proporção universal para todos os contextos. Os resultados também mudam significativamente conforme variam o tamanho do lote, o comprimento da entrada e da saída, a arquitetura do modelo, o nível de quantização, o hardware e as metas de latência.

## Modelos pequenos e execução local não são a mesma escolha

Modelos pequenos podem ser suficientes para classificação simples, extração estruturada de informações, resumos curtos, roteamento de comandos e revisão básica. No entanto, escolher um modelo pequeno não significa que ele necessariamente deva ser executado no dispositivo do usuário.

Mesmo modelos pequenos podem alcançar alta taxa de utilização quando grandes volumes de solicitações são processados em lotes em um data center. Por outro lado, um grande modelo de pesos abertos que precise ser controlado pela organização pode ser executado em servidores próprios. É mais preciso dividir a decisão em duas etapas.

1. Escolher o tamanho e o tipo de modelo que atendam à qualidade e às funcionalidades necessárias para a tarefa.
2. Escolher o local de execução adequado à latência, ao custo, à segurança e às condições operacionais.

Misturar essas duas etapas pode levar a conclusões equivocadas, como “um modelo pequeno é eficiente, portanto a execução local é eficiente” ou “é necessário um modelo grande, portanto é preciso usar uma nuvem pública”.

## Condições em que a IA local apresenta vantagens claras

### Interfaces em que a baixa latência é essencial

Em conversas por voz, correção de teclado, processamento de câmera e controle em tempo real, o tempo de ida e volta pela rede e as variações de conectividade alteram significativamente a experiência do usuário. Um pequeno modelo local pode cuidar da detecção de palavras de ativação, do pré-processamento de voz, de comandos simples e do feedback imediato.

### Ambientes sem internet ou com conexão instável

Em aeronaves, embarcações, locais de desastres, regiões remotas e equipamentos em movimento, o funcionamento offline é, por si só, uma função essencial. Mesmo que os modelos de data center ofereçam qualidade superior, eles não serão uma opção quando não houver possibilidade de conexão.

### Ambientes em que dados pessoais e informações confidenciais não podem ser enviados para fora

Atividades médicas, financeiras, militares, jurídicas, de pesquisa e desenvolvimento ou que envolvam materiais internos de empresas podem estar sujeitas a regulamentos e contratos que restringem o envio para APIs externas. Modelos locais ou hospedados internamente oferecem o valor de permitir o controle direto das fronteiras dos dados.

No entanto, não se pode considerar que “por ser local, é automaticamente seguro”. Roubo do dispositivo, malware, erros de permissão de acesso, logs, arquivos temporários e problemas na cadeia de fornecimento do modelo ainda precisam ser gerenciados. O nível de segurança das nuvens públicas também varia conforme a criptografia, o período de retenção, a escolha da região e as condições contratuais.

### Quando é necessário controlar e experimentar diretamente o modelo

Modelos de pesos abertos são úteis para pesquisadores analisarem o funcionamento interno e para desenvolvedores alterarem a quantização, o ajuste fino e o mecanismo de inferência. A execução própria também ganha valor quando é necessário fixar uma versão do modelo não oferecida por uma API, obter logs detalhados, garantir reprodutibilidade ou realizar uma implantação personalizada.

## Condições em que a inferência em data centers é forte

Em geral, há bons motivos para utilizar recursos de data center nas seguintes tarefas:

- Tarefas que exigem modelos muito grandes ou contextos longos
- Análise simultânea de grandes repositórios de código e conjuntos de documentos
- Tarefas de agentes de IA de longa duração que usam várias ferramentas
- Serviços que processam continuamente solicitações de muitos usuários
- Organizações que precisam delegar a equipes operacionais especializadas a resposta a falhas, a expansão e as atualizações de modelos
- Processamento multimodal que exige vários aceleradores e grande capacidade de memória

O valor dos data centers não está apenas no desempenho de geração de tokens de um único modelo. Também é importante a capacidade de operar, como um único sistema, índices de busca, bancos de dados, execução de código em sandbox, ferramentas de observabilidade e políticas de segurança.

## Por que a IA híbrida é uma opção promissora

Um projeto realista divide as tarefas, em vez de escolher de forma fixa entre execução local e data center.

| Etapa | Funções adequadas ao modelo local | Funções adequadas ao modelo de data center |
|---|---|---|
| Processamento de entrada | Detecção de voz, auxílio à transcrição, mascaramento de dados pessoais | Compreensão multimodal em grande escala |
| Avaliação da solicitação | Classificação de intenção, comandos simples, roteamento | Interpretação de objetivos ambíguos e planejamento complexo |
| Execução | Configuração do dispositivo, resumos curtos, respostas em cache | Pesquisa aprofundada, análise de código em grande escala, tarefas de agentes de longa duração |
| Segurança e recuperação | Filtragem de informações sensíveis antes do envio, alternativa offline | Aplicação de políticas centralizadas, detecção avançada de riscos, análise de registros completos |

Por exemplo, um modelo local no smartphone pode processar a voz, remover informações sensíveis e enviar somente as partes complexas ao modelo de data center. Também é possível continuar oferecendo localmente funções limitadas quando a rede cair e transferir as tarefas mais difíceis quando a conexão for restabelecida.

Nessa estrutura, mesmo que o usuário sinta que está interagindo com uma IA local, os cálculos mais difíceis podem ser realizados no data center. Por outro lado, é possível reduzir o escopo de exposição de dados pessoais transmitindo somente as informações necessárias, sem enviar todos os dados originais ao servidor.

## Variáveis fáceis de ignorar: confiabilidade operacional e custo de roteamento

As comparações entre modelos frequentemente se limitam à precisão, à velocidade de tokens e ao preço da API. Em sistemas reais, a confiabilidade operacional e as falhas de roteamento determinam a eficiência geral.

Um sistema híbrido precisa decidir quais solicitações serão concluídas localmente e quais serão enviadas ao servidor. Se um modelo fraco assumir equivocadamente uma tarefa difícil, ele poderá falhar várias vezes antes de finalmente chamar o modelo de data center. Nesse caso, será preciso pagar pelo processamento local, pela latência e pelo custo do servidor.

Por outro lado, se até mesmo solicitações simples forem sempre encaminhadas ao modelo de ponta, haverá aumento desnecessário dos custos e da transmissão de dados. Portanto, um bom roteador precisa das seguintes funções:

- Critérios para estimar a dificuldade da tarefa e o contexto necessário
- Método para detectar a incerteza dos resultados locais
- Política de transição para um modelo superior quando o número de falhas ou o limite de tempo for excedido
- Procedimento para remover informações sensíveis ou obter aprovação antes do envio ao servidor
- Sistema de avaliação para gerenciar diferenças de versão entre os modelos locais e os modelos do servidor

Esses fatores são facilmente ignorados em uma simples comparação de hardware. A competitividade futura pode depender menos de possuir o maior modelo e mais da precisão com que as tarefas são distribuídas entre os modelos e locais de execução adequados.

## Como comparar diretamente custo e desempenho

Para escolher entre execução local e data center, é preciso comparar pelo menos os seguintes itens durante o mesmo período e usando a mesma unidade de tarefa.

### Custo mensal equivalente da execução local

`Custo mensal equivalente do equipamento + custos de energia e refrigeração + valor do tempo operacional + custos de falhas e substituição`

Ao dividir esse total pelo número de tarefas concluídas com sucesso durante um mês, é possível estimar o custo por tarefa. Para refletir os custos de novas tentativas e de revisão humana, o cálculo deve se basear nas tarefas concluídas com sucesso, e não na simples quantidade de tokens.

### Custo mensal do data center

`Tarifas de entrada e saída + tarifas de armazenamento, busca e uso de ferramentas + custos de rede + custos de gerenciamento`

Caso sejam utilizadas instâncias reservadas ou dedicadas, o tempo não utilizado também deve ser incluído nos custos.

### Indicadores de qualidade que devem ser medidos em conjunto

- Percentual de tarefas concluídas sem correções
- Número médio de novas tentativas
- Tempo até a primeira resposta e até a conclusão total
- Tempo gasto por pessoas com revisão e correções
- Taxa de interrupção do serviço e de falhas de rede
- Escopo das informações sensíveis transmitidas para fora

Em vez de chegar a uma conclusão com apenas algumas solicitações curtas de teste, é recomendável criar e comparar um conjunto fixo de avaliações que represente o trabalho real.

## O consumo de energia e o impacto ambiental também não podem ser julgados apenas pelo local de execução

O fato de o processamento local reduzir a transmissão pela rede não significa que ele sempre consuma menos energia. Os data centers podem aproveitar altas taxas de utilização dos equipamentos e sistemas eficientes de refrigeração, mas também geram impactos relacionados à operação de instalações de grande escala e à sobrecarga da rede elétrica.

Para comparar o impacto ambiental, é preciso considerar em conjunto os seguintes fatores:

- Consumo real de energia por tarefa
- Taxa média de utilização dos equipamentos
- Perdas de refrigeração e energia do data center
- Intensidade de carbono das fontes de energia de cada região
- Emissões incorporadas na fabricação de GPUs e dispositivos
- Quantidade de computação desperdiçada por falhas do modelo e novas tentativas

Mesmo para o mesmo modelo, a energia por tarefa pode ser diferente entre uma GPU pessoal que permanece ociosa por longos períodos e um servidor operado com lotes grandes. Por outro lado, tarefas que executam brevemente um modelo pequeno em um dispositivo de baixo consumo já disponível podem ser mais eficientes do que uma chamada ao servidor. É preciso ter cautela com alegações universais de sustentabilidade que não esclareçam o escopo da medição e as condições da tarefa.

## Três mudanças que podem colocar a IA local no centro

Também é possível que a perspectiva centrada em data centers se altere.

1. **Quando a oferta dos data centers for limitada por condições externas**: problemas relacionados à rede elétrica, ao fornecimento de semicondutores, à regulamentação ou à soberania dos dados podem dificultar a expansão da inferência centralizada em grande escala.
2. **Quando a eficiência dos modelos pequenos melhorar muito mais rapidamente do que a dos modelos grandes**: se os modelos executáveis em dispositivos pessoais se aproximarem dos grandes modelos em termos de qualidade no trabalho real, haverá menos motivos para pagar por desempenho adicional.
3. **Quando a maior parte do trabalho atingir um ponto de saturação de qualidade**: se modelos maiores praticamente não melhorarem a taxa de sucesso das tarefas de maneira perceptível para os usuários, as vantagens locais de custo, latência e segurança poderão prevalecer.

No entanto, também não há fundamentos suficientes para presumir que apenas os grandes modelos deixarão de evoluir ou que o nível de exigência dos usuários permanecerá fixo. Isso ocorre porque, à medida que os modelos se tornam mais poderosos, os usuários tendem a confiar a eles tarefas mais longas e problemas mais difíceis.

## Conclusão

A IA local não desaparecerá. Pelo contrário, sua importância provavelmente aumentará em áreas que exigem interfaces de voz, respostas imediatas, funcionamento offline, proteção de dados pessoais, redes isoladas e controle do modelo.

No entanto, o simples fato de os modelos locais evoluírem não permite concluir que a inferência de alto desempenho em data centers será substituída. Os data centers também evoluem com modelos mais poderosos, equipamentos dedicados, batching e altas taxas de utilização. Em tarefas de raciocínio complexo e de agentes de IA de longa duração, pequenas diferenças de desempenho podem resultar em grandes diferenças na taxa final de sucesso e no custo de revisão.

Portanto, no longo prazo, a divisão de funções será mais importante do que determinar um vencedor entre a execução local e os data centers. A direção mais realista é uma arquitetura híbrida, na qual os modelos locais cuidam do processamento de entrada, das respostas imediatas, da proteção de informações sensíveis e do roteamento de solicitações, enquanto os modelos de data center assumem tarefas que exigem recursos em grande escala e alta capacidade de inferência.

## FAQ

### Os modelos de pesos abertos significam a mesma coisa que IA de código aberto?
Não. Pesos abertos significa que é possível baixar e executar os pesos treinados, mas não que os dados de treinamento, todo o código de treinamento e o processo de desenvolvimento tenham sido divulgados. Também é necessário verificar na licença específica se são permitidos modificação, uso comercial e redistribuição.

### No futuro, os smartphones poderão executar os atuais modelos de IA mais avançados?
Isso poderá ser possível com o avanço da quantização, da destilação, do hardware e dos mecanismos de inferência. No entanto, como os modelos mais avançados dos data centers daquela época também evoluirão, o simples fato de ser possível executar os modelos atuais não permite concluir que o nível da nuvem foi alcançado.

### Se eu já tiver uma GPU, o custo da inferência de IA local será zero?
Pode não haver cobrança de API, mas o custo econômico não é zero. É preciso calculá-lo incluindo eletricidade, depreciação dos equipamentos, refrigeração, manutenção, resposta a falhas e baixa taxa de utilização.

### Por que o processamento em lotes nos data centers reduz os custos?
Porque, ao processar juntos os tokens de várias solicitações, é possível distribuir entre vários usuários o acesso aos pesos do modelo e o uso dos aceleradores. No entanto, lotes grandes podem aumentar a latência e o uso de memória, por isso é necessário fazer ajustes de acordo com o volume de solicitações e as metas de tempo de resposta.

### Executar modelos pequenos localmente é sempre eficiente?
Não. Mesmo modelos pequenos podem alcançar uma alta taxa de utilização dos equipamentos quando muitas solicitações são processadas em lotes em um data center. O tamanho do modelo e o local de execução devem ser decididos separadamente.

### A IA local é sempre mais vantajosa para a proteção de dados pessoais do que a IA na nuvem?
Ela é vantajosa por permitir que os dados originais não sejam enviados a servidores externos. No entanto, ainda existem riscos de roubo do dispositivo, malware, configurações de permissões, logs locais e cadeia de suprimentos do modelo; portanto, a execução local, por si só, não garante automaticamente a segurança.

### Que tipos de tarefa são adequados para um modelo local?
São adequadas tarefas que exigem baixa latência e têm demanda computacional limitada, como pré-processamento de voz, classificação e resumo simples, roteamento de comandos, mascaramento de dados pessoais e funcionalidades offline.

### Que tipos de tarefa são mais adequados para modelos de data center?
São tarefas que exigem muita memória e alto desempenho de inferência, como análise de código em grande escala, pesquisa aprofundada, processamento de contextos longos, elaboração de planos complexos e tarefas prolongadas de agentes de IA que utilizam várias ferramentas.

### O que é IA híbrida?
É uma arquitetura na qual tarefas simples, sensíveis ou imediatas são processadas pelo modelo local do dispositivo do usuário, e somente as tarefas mais complexas são enviadas a um modelo de data center. A política de roteamento e o procedimento de transferência para um modelo superior em caso de falha determinam a qualidade do sistema.

### A IA local é mais sustentável do que a IA de data center?
Não é possível determinar isso apenas pelo local de execução. É preciso comparar, dentro do mesmo escopo, a taxa de utilização dos equipamentos, o consumo de energia por tarefa, a eficiência da refrigeração, a fonte de energia regional, a fabricação do hardware e até as novas tentativas do modelo.

## Sources

- [Gerenciamento eficiente de memória para disponibilização de grandes modelos de linguagem com PagedAttention](https://arxiv.org/abs/2309.06180)
- [NVIDIA Triton Inference Server: Agrupador de modelos](https://docs.nvidia.com/deeplearning/triton-inference-server/user-guide/docs/user_guide/batcher.html)
- [GPU NVIDIA H100 Tensor Core](https://www.nvidia.com/en-us/data-center/h100/)
- [llama.cpp](https://github.com/ggml-org/llama.cpp)
- [MLC LLM](https://llm.mlc.ai/)
- [Definição de IA de código aberto](https://opensource.org/ai/open-source-ai-definition)
- [A definição de computação em nuvem do NIST](https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-145.pdf)
- [Framework de Privacidade do NIST](https://www.nist.gov/privacy-framework)

## Images

![Técnica conectando um cabo de rede a um computador compacto em uma sala de servidores](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTI4MzQsInB1ciI6ImJsb2JfaWQifX0=--5e4537efdba3022405de8e104a427be983bc2583/ai-1a48fd1a.webp)
![Diagrama comparando IA local em notebook e celular com servidores, fluxos e métricas de data center](https://injoys.com/rails/active_storage/blobs/proxy/eyJfcmFpbHMiOnsiZGF0YSI6MTI4NDIsInB1ciI6ImJsb2JfaWQifX0=--a8be6416f77c81039aabe891f1acfde95507c889/ai-c2164fd3.webp)