LABORATÓRIO INTERATIVO · TRANSFORMERS
Veja um LLM decidir.
Escreva um prompt e acompanhe como um modelo simplificado transforma texto em tokens, vetores, atenção e probabilidades para prever a próxima palavra.
ABRIR O LABORATÓRIO ↓O QUE VOCÊ VAI OBSERVAR
Uma versão didática do caminho entre a frase e a resposta.
Este simulador não executa uma LLM real. Ele reduz o processo a componentes visíveis para facilitar o aprendizado e mostrar como parâmetros alteram a distribuição da próxima palavra.
CONFIGURE O EXPERIMENTO
Qual frase o modelo deve completar?
Dica: use Ctrl + Enter para executar.
RESULTADO DO PIPELINE
Da entrada à próxima palavra.
Tokenização
O texto é quebrado em unidades menores que o modelo consegue processar.
Embeddings
Cada token recebe um vetor. Termos semanticamente relacionados tendem a ocupar regiões próximas.
Atenção em múltiplas cabeças
Cada cabeça atribui pesos diferentes aos tokens para montar uma representação do contexto.
Decodificação
As probabilidades, a temperatura, o top-k e a estratégia determinam quais continuações permanecem candidatas.
Qual palavra o modelo escolheria?
PARA CONSULTAR
Glossário essencial.
Abra um conceito para revisar sua função no pipeline.
BPE +
Tokenização que quebra palavras em unidades menores. “Programação”, por exemplo, pode ser dividida em partes reutilizáveis pelo modelo.
Embeddings +
Representações numéricas dos tokens. Vetores semelhantes ajudam a expressar proximidade de significado.
Multi-Head Attention +
Mecanismo que observa relações diferentes entre os tokens ao mesmo tempo. Cada cabeça pode capturar outro padrão.
Query, Key e Value +
Query representa o que se procura, Key o que cada token oferece e Value a informação combinada no contexto.
Softmax +
Transforma pontuações brutas em uma distribuição de probabilidades cuja soma é 100%.
Temperatura +
Redistribui as probabilidades. Valores baixos concentram escolhas; valores altos aumentam a variedade.
Top-k +
Mantém apenas os k candidatos mais prováveis antes da escolha do próximo token.
Beam Search +
Mantém várias sequências candidatas em paralelo e preserva as combinações com melhor pontuação acumulada.
Logits +
Pontuações produzidas pelo modelo antes de serem convertidas em probabilidades pelo softmax.
Transformer +
Arquitetura que usa atenção para relacionar tokens e processar contexto com alto paralelismo.
Contexto +
Representação construída a partir dos tokens anteriores e usada para estimar a próxima saída.
Projeção 2D +
Redução didática dos vetores para duas dimensões, permitindo visualizar proximidades no gráfico.