Classificação
Sentimento, intenção, assunto, toxicidade, urgência, spam e roteamento.
Trilha de estudo · linguagem
Processamento de
Linguagem Natural.
NLP transforma linguagem em representações computáveis para classificar, extrair, buscar, traduzir, resumir e gerar — sem esquecer que sentido depende de contexto, cultura e intenção.
01 · Conceito
Linguagem não é apenas uma sequência de palavras.
Ela carrega ambiguidade, referência, ironia, conhecimento de mundo, variação social e dependência do diálogo. O modelo observa sinais; a tarefa define o que conta como acerto.
Processamento de Linguagem Natural
Área da IA e da linguística computacional que desenvolve métodos para analisar, representar, recuperar e gerar linguagem humana em texto ou fala.
Níveis de análise
Morfologia forma palavras; sintaxe organiza relações; semântica trata significado; pragmática considera intenção e contexto; discurso conecta enunciados.
02 · Tarefas
O nome da tarefa define dado, saída e métrica.
Um único documento pode passar por várias etapas: OCR, idioma, classificação, entidades, busca e resumo.
NER e extração
Encontra pessoas, organizações, datas, valores, produtos e relações.
Busca e recuperação
BM25, embeddings, busca híbrida, reranking e Retrieval-Augmented Generation.
Tradução e resumo
Reformula conteúdo preservando significado, fatos, tom e restrições.
Perguntas e respostas
Extrativa quando localiza trecho; generativa quando compõe uma resposta.
Fala
Reconhecimento, síntese, diarização e compreensão de comandos.
03 · Métodos
Do vocabulário contado ao contexto aprendido.
Métodos tradicionais continuam úteis por custo, transparência e poucos dados. Os links abaixo levam à documentação ou ao artigo que apresentou cada técnica.
| Representação / modelo | Como funciona | Onde funciona bem | Estude na fonte |
|---|---|---|---|
| Bag of Words / n-gramas | Conta termos e sequências locais. | Baselines, classificação e busca. | Scikit-learn: text features ↗ |
| TF-IDF + linear / SVM | Pondera termos raros e aprende uma fronteira de decisão. | Spam, tópico, sentimento e intenção. | TF-IDF ↗ · SVM ↗ |
| Word2Vec / GloVe / FastText | Aprende vetores a partir dos contextos das palavras. | Similaridade e atributos densos. | Word2Vec ↗ · GloVe ↗ · FastText ↗ |
| RNN / LSTM / GRU | Atualiza um estado ao percorrer a sequência. | Séries de texto menores e processamento incremental. | LSTM ↗ · GRU ↗ |
| Transformer | A atenção relaciona tokens diretamente e permite processamento paralelo. | Classificação, extração, busca, tradução e geração. | Attention Is All You Need ↗ |
| LLM + RAG | Recupera fontes externas e gera uma resposta usando esse contexto. | Assistentes e consulta a conhecimento atualizado ou privado. | Paper de RAG ↗ |
04 · O artigo que mudou o campo
Attention Is All You Need: o Transformer.
Publicado em 2017, o trabalho substituiu a recorrência como mecanismo central por atenção. Isso facilitou o treinamento paralelo e permitiu aprender relações entre posições distantes no texto.
Paper clássico · Vaswani et al. · NeurIPS 2017
Ler o paper original ↗“Atenção é tudo que você precisa”
O artigo apresentou uma arquitetura encoder-decoder baseada em atenção, conexões residuais, normalização, redes feed-forward e informação de posição.
Ideia matemáticaAttention(Q, K, V) = softmax(QKᵀ / √dk)V
Query é o que o token procura; Key descreve o que cada token oferece; Value carrega a informação que será combinada. O softmax transforma as compatibilidades em pesos.
Tokens + posição
Embeddings representam unidades do texto; a codificação posicional preserva a ordem.
Self-attention
Cada token calcula quanto deve considerar os demais tokens da sequência.
Multi-head
Diferentes cabeças podem capturar relações sintáticas, semânticas e referenciais.
Feed-forward
Uma rede transforma cada posição depois que o contexto foi combinado.
Residual + norm
Conexões residuais e normalização estabilizam o fluxo do treinamento.
Máscara causal
Na geração, o token atual não pode olhar os tokens futuros durante o treinamento.
BERT e derivados
Leem o contexto nos dois sentidos. São fortes em classificação, extração e representação.
Paper do BERT ↗Transformer original e T5
Transformam uma sequência em outra. Tradução, resumo e tarefas texto-para-texto são exemplos.
Paper do T5 ↗Linhagem GPT
Prevê o próximo token de forma autoregressiva e se adapta a muitas tarefas por instruções e contexto.
Paper do GPT-1 ↗05 · Do paper aos assistentes
O Transformer abriu o caminho. Outras camadas tornaram a conversa útil.
Esta linha do tempo resume mudanças de pesquisa. As famílias comerciais evoluem continuamente e não publicam todos os componentes internos.
2017TransformerAtenção, paralelismo e relações de longo alcance.
2018GPT-1Pré-treinamento generativo seguido de ajuste para tarefas.
2018BERTRepresentações bidirecionais para compreender texto.
2020GPT-3Escala e aprendizagem por exemplos no próprio prompt.
2022InstructGPT + RLHFInstruções e feedback humano aproximam o modelo da intenção.
2022ChatGPTA experiência conversacional leva essa linhagem ao grande público.
2023+GeminiFamília multimodal descrita em relatório técnico do Google.
2023+ClaudeA Anthropic documenta Constitutional AI e modelos voltados a assistência.
Pré-treinamento
Aprender padrões gerais prevendo tokens ou reconstruindo trechos em grandes coleções.
Instruction tuning
Ajustar o modelo com pares de instrução e resposta para seguir pedidos.
Alinhamento
Usar feedback, preferências, regras e avaliações para melhorar utilidade e segurança.
Sistema completo
Busca, ferramentas, memória, filtros, interface e monitoramento completam o produto.
06 · Simulador de IA Generativa
Faça uma pergunta. Veja o modelo construir a resposta.
Uma simulação guiada de um modelo de linguagem do tipo ChatGPT. A pergunta é fixa para você acompanhar cada transformação sem depender de uma API externa.
Prompt fixo“Por que o céu é azul?”
Simulação didática · sem API
Etapa 1 de 6
Entrada e contexto
O modelo recebe mensagens, não uma pergunta isolada.
A instrução de sistema define o comportamento esperado. A mensagem do usuário fornece a tarefa. Em aplicações reais, histórico, documentos e ferramentas também podem entrar no contexto.
Sistema
Explique conceitos científicos de forma clara, correta e em até três frases.
Usuário
Por que o céu é azul?
ImportanteO modelo não consulta automaticamente uma enciclopédia. Ele processa o contexto recebido usando padrões aprendidos no treinamento.
Tokenização
Antes de entender relações, o texto vira uma sequência.
Tokens podem ser palavras, pedaços de palavras, sinais ou espaços. Os identificadores abaixo são didáticos: cada tokenizador real possui seu próprio vocabulário.
ID 104PorID 387queID 072oID 941céuID 133éID 628azulID 019?
Texto“Por que o céu é azul?”
Sequência7 unidades ordenadas
LimiteO contexto possui tamanho máximo
Embeddings e posição
Cada token vira um vetor situado no contexto.
O vetor reúne muitos números aprendidos. A posição informa a ordem; as camadas seguintes transformam a representação conforme as palavras ao redor.
Escala realEm um LLM, os vetores têm centenas ou milhares de dimensões. Aqui mostramos apenas seis barras para tornar a ideia visível.
Autoatenção
Cada token pergunta quais partes do contexto importam agora.
As cabeças de atenção calculam relações diferentes. Selecione um token para observar uma distribuição didática de pesos sobre a pergunta.
Token em foco
Ao processar “azul”, quais tokens ajudam a formar o contexto?
Não é explicação causalPesos de atenção ajudam a visualizar relações internas, mas sozinhos não explicam toda a decisão do modelo.
Decodificação autoregressiva
O modelo escolhe um token e refaz o cálculo.
A saída da rede vira uma distribuição de probabilidades. Depois de escolher um token, ele entra novamente no contexto para prever o seguinte.
Menor temperatura concentra as escolhas; maior temperatura distribui mais probabilidade e aumenta a variedade.
Geração token por token
Saída gerada
Uma resposta fluente nasce de muitas previsões locais.
O ciclo de atenção, probabilidades e escolha foi repetido para cada novo token até chegar a uma resposta ou ao critério de parada.
Assistente
O céu parece azul porque as moléculas da atmosfera espalham a luz de comprimento de onda curto, sobretudo azul e violeta. Como nossos olhos percebem melhor o azul e há menos violeta na luz solar, vemos o céu azul.
Limite da simulaçãoEste laboratório representa conceitos comuns a LLMs. Ele não reproduz pesos, tokens, probabilidades ou raciocínio interno real do ChatGPT.
07 · Biblioteca de artigos
Uma trilha pelos papers que formaram o NLP moderno.
Leia o resumo e a conclusão primeiro. Depois estude método, experimento, limitações e o que trabalhos posteriores mudaram.
Palavras como vetores
Word2VecMikolov et al. · 2013GloVePennington, Socher & Manning · 2014FastText com subpalavrasBojanowski et al. · 2017Antes do Transformer
Sequence to SequenceSutskever, Vinyals & Le · 2014Attention para traduçãoBahdanau, Cho & Bengio · 2014Atenção global e localLuong, Pham & Manning · 2015Arquiteturas fundamentais
Attention Is All You NeedVaswani et al. · 2017BERTDevlin et al. · 2018T5Raffel et al. · 2020Escala, recuperação e alinhamento
GPT-3Brown et al. · 2020RAGLewis et al. · 2020InstructGPTOuyang et al. · 2022Constitutional AIBai et al. · 202208 · Laboratório
Veja a primeira decisão de qualquer modelo de texto.
Tokenizar é dividir linguagem em unidades. Modelos reais costumam usar subpalavras; este exemplo didático mostra como a escolha muda a sequência.
Tokens resultantes
Subpalavras equilibram vocabulário e cobertura: uma palavra rara pode virar partes conhecidas. A reconstrução, os acentos e a versão do tokenizador importam.
09 · Avaliação
Fluência não prova correção.
Escolha métricas automáticas, revisão humana e conjuntos de teste que representem sotaques, domínios, classes raras e riscos reais.
Precision, recall e F1
Avalie por classe e use macro-F1 quando classes pequenas também importam. Em NER, defina se a entidade precisa coincidir exatamente.
BLEU, ROUGE e semântica
Sobreposição ajuda, mas não mede plenamente factualidade ou utilidade. Compare com avaliação humana e testes de consistência.
Fatos, segurança e tarefa
Meça resposta fundamentada, citações, recusa, formato, latência, custo e sucesso do usuário.
WER e CER
Taxas de erro de palavras e caracteres precisam ser segmentadas por ruído, sotaque, equipamento e vocabulário.
Variação importa
Flexões, contrações, regionalismos, nomes, diacríticos e mistura de idiomas exigem dados representativos.
Teste de borda
Inclua entradas longas, contraditórias, adversariais, sem resposta e fora do domínio. Monitore drift e feedback.
10 · Leituras complementares
Linguística, estatística e implementação.
Aprofunde fundamentos e depois reproduza tarefas com conjuntos de teste próprios.
Sobre Processamento de Linguagem NaturalAlex Souza · leitura autoral↗Speech and Language ProcessingJurafsky & Martin · livro aberto↗Hugging Face NLP CourseTransformers, tokenizers e tarefas↗Introduction to Information RetrievalManning, Raghavan & Schütze · livro aberto↗spaCy Usage DocumentationPipeline industrial de NLP↗PyTorch: TransformersTutoriais e implementação↗