Coordena e decide
Executa o sistema operacional, organiza a aplicação, trata desvios de fluxo, prepara dados e envia trabalhos aos aceleradores. É forte em tarefas variadas e sensíveis à latência.
Guia de estudo · hardware para IA
GPU.
O motor paralelo da IA Generativa.
Um modelo de linguagem parece conversar em palavras. Por baixo, ele executa bilhões de operações numéricas. Entenda por que a GPU se tornou tão importante — e por que ela depende da CPU, da memória, do armazenamento e da rede.
01 · O que é uma GPU
Ela nasceu para desenhar imagens. Aprendeu a calcular em escala.
GPU significa Graphics Processing Unit, ou unidade de processamento gráfico. No começo, sua principal tarefa era processar muitos pixels, vértices e efeitos visuais. O mesmo padrão de executar cálculos semelhantes sobre muitos dados serve para ciência e redes neurais.
Repete operações em massa
Distribui a mesma família de operações por muitos elementos de dados. Brilha quando o problema pode ser dividido em milhares de cálculos independentes ou parcialmente independentes.
1A CPU prepara dados e instruções.
→2Dados e pesos chegam à memória da GPU.
→3A GPU executa operações em paralelo.
→4O resultado volta à aplicação.
02 · Por que a IA Generativa usa GPU
Palavras entram. Matrizes fazem o trabalho pesado.
Modelos transformam texto, imagem e áudio em números. Camadas neurais combinam esses números em multiplicações de matrizes, somas e outras operações. GPUs e outros aceleradores foram desenhados para executar grande volume desse tipo de cálculo.
EXEMPLO MÍNIMO
Uma operação, muitas vezes
Se uma matriz guarda milhares de representações e outra guarda pesos do modelo, o produto C = A × B exige muitos produtos e somas. Cada elemento de C pode ser calculado em paralelo, respeitadas as dependências internas da operação.
A1234
×B2012
=C44108
Aprender ajustando pesos
O modelo percorre dados, produz saídas, mede o erro e ajusta parâmetros por retropropagação. É uma carga intensa em computação e memória; muitas vezes exige várias GPUs ou outros aceleradores.
Gerar uma resposta
Com os pesos já aprendidos, o modelo calcula a distribuição do próximo token e repete o processo. Responder um usuário exige baixa latência; atender muitos usuários exige boa vazão e uso eficiente da memória.
Guardar o que já foi processado
Durante a geração, muitos sistemas mantêm um KV cache para reutilizar resultados da atenção. Contextos longos e muitas conversas simultâneas aumentam o consumo de memória.
Precisão também importa.
Representações numéricas de menor precisão podem reduzir memória e acelerar operações, desde que o modelo e o hardware as suportem e a qualidade seja verificada. Não existe ganho gratuito: há escolhas entre precisão, velocidade, custo e fidelidade da resposta.
03 · O gargalo nem sempre é cálculo
Um chip rápido precisa conseguir alimentar seus cálculos.
A capacidade e a largura de banda da memória importam tanto quanto o número de operações por segundo. Em IA, dados, pesos, ativações e cache precisam caber — e circular — pelo sistema.
Memória principal
Usada pela CPU e pelo sistema para programas, dados e preparação das tarefas. É diferente da memória dedicada de uma placa de vídeo.
Memória próxima à GPU
Guarda pesos e dados que a GPU precisa acessar rapidamente. HBM é uma tecnologia de alta largura de banda presente em certos aceleradores; placas diferentes usam tipos distintos de memória.
Persistência
Guarda datasets, checkpoints e arquivos de modelo. Carregar dados do disco ou da rede pode se tornar o gargalo mesmo com uma GPU potente.
O caminho entre chips
PCIe, redes de alta velocidade e ligações entre aceleradores transportam dados. Quando o modelo se distribui por máquinas, comunicação pode limitar o ganho de escala.
CONTA ILUSTRATIVA
Quanto ocupa um modelo de 7 bilhões de parâmetros?
Somente os pesos em um formato de 2 bytes por parâmetro ocupam aproximadamente 14 GB (7 bilhões × 2 bytes). Isso não inclui cache, ativações, buffers, estruturas do programa nem margem de operação. Treinar normalmente requer ainda mais memória do que carregar pesos para inferência.
O valor real varia com arquitetura, precisão, quantização, tamanho do contexto, lote, método de execução e divisão entre dispositivos.
04 · O restante do computador
CPU, GPU, NPU e TPU têm papéis diferentes.
“Hardware para IA” é uma família, não uma peça única. O trabalho certo depende de volume de dados, paralelismo, latência, energia, memória, software e custo total.
| Componente | O que faz bem | Onde aparece | Limite típico |
|---|---|---|---|
| CPU | Controle, sistema operacional, fluxos variados, pré e pós-processamento. | Todo computador e servidor. | Menor vazão em cálculos massivos semelhantes. |
| GPU | Paralelismo e operações vetoriais/matriciais; gráficos e IA. | PCs, estações de trabalho e datacenters. | Memória e transferência de dados podem limitar; nem toda tarefa paraleliza. |
| NPU | Inferência neural eficiente em energia, sobretudo no dispositivo. | Celulares, notebooks e outros dispositivos. | Compatibilidade de modelos, memória e flexibilidade variam por fabricante. |
| TPU | Operações de ML, especialmente matrizes, em hardware especializado. | Infraestrutura e serviços do Google. | Fluxo de software e disponibilidade são específicos do ecossistema. |
| FPGA / ASIC | Funções configuráveis (FPGA) ou especializadas (ASIC). | Redes, indústria, edge e aceleradores. | Projeto e programação especializados; ASIC tem menor flexibilidade. |
CUDA, ROCm e bibliotecas
O hardware só produz valor com drivers, compiladores e bibliotecas. CUDA é o ecossistema de computação em GPUs NVIDIA; ROCm atende GPUs AMD compatíveis. Frameworks como PyTorch usam essas camadas para executar tensores e modelos.
Energia, refrigeração e rede
Uma implantação em escala precisa considerar consumo elétrico, resfriamento, capacidade da rede, disponibilidade, observabilidade e custo. O chip é apenas parte da infraestrutura de IA.
05 · Visualização interativa
O que significa dividir trabalho em paralelo?
Distribua 64 operações independentes entre trabalhadores. A visualização mostra quantas rodadas lógicas seriam necessárias se todos executassem uma operação por rodada; não mede desempenho real de CPU ou GPU.
16 rodadas para 64 operações independentes.
Modelo didático: ignora preparação, comunicação, acesso à memória, frequência, dependências e diferenças entre arquiteturas.06 · Breve história
De instruções gerais a aceleradores especializados.
São marcos para orientar o estudo, não uma linha do tempo completa. O avanço da IA veio da combinação de algoritmos, dados, software e infraestrutura.
Microprocessadores comerciais
O Intel 4004 ajuda a contar a história da CPU em um chip e da computação de uso geral.
História da Intel ↗Gráficos em tempo real
O crescimento de interfaces gráficas e jogos cria demanda por hardware especializado em renderização e processamento paralelo.
Linha do tempo do Computer History Museum ↗A GPU ganha nome e mercado
A GeForce 256 populariza o termo GPU no mercado de PCs; processadores gráficos anteriores já existiam.
Contexto histórico ↗GPU para computação geral
CUDA facilita programar GPUs NVIDIA para tarefas além de gráficos. Outras plataformas e abordagens também evoluem.
Guia CUDA ↗Redes profundas em evidência
AlexNet usa uma implementação em GPU para treinar uma rede convolucional de destaque na classificação de imagens.
Artigo original ↗Transformers e escalada de modelos
O artigo Attention Is All You Need apresenta o Transformer. Treinamento distribuído, aceleradores e memória tornam-se decisivos para modelos cada vez maiores.
Artigo original ↗
07 · Continue estudando
Fontes para ir além das analogias.
Comece pela documentação e pelos artigos originais. Especificações de produtos mudam; os conceitos de paralelismo, memória e divisão de trabalho ajudam a avaliar qualquer geração de hardware.
NVIDIA · CUDA Programming GuideThreads, blocos, hierarquia de memória e execução de kernels. ↗NVIDIA · Deep Learning PerformanceTreinamento, operações matriciais e otimização. ↗AMD · ROCmPilha de software para computação acelerada em GPUs AMD. ↗Google Cloud · Arquitetura TPUComo um acelerador especializado trata operações de ML. ↗Intel · CPU, GPU e NPUPapéis diferentes no processamento e na inferência. ↗PyTorch · CUDA semanticsComo tensores e operações são colocados e executados na GPU. ↗Pesquisa · Attention Is All You NeedO artigo que apresentou a arquitetura Transformer. ↗Pesquisa · AlexNetUm marco no treinamento de redes profundas com GPU. ↗