- Início
- Jogos e laboratórios
- Como funciona o mecanismo de atenção
Como funciona o mecanismo de atenção
O laboratório percorre, em treze etapas, a operação que está por trás dos modelos de linguagem. Cada etapa mostra as matrizes envolvidas e deixa você mudar os valores para ver o efeito no resultado.
Use as setas para avançar pelas etapas ou deixe a apresentação automática rodar. O botão de tela cheia ajuda na leitura das matrizes.
O que dá para fazer
- Acompanhar o caminho completo: tokens → embeddings → codificação de posição → Q, K e V → Q·Kᵀ → escala → máscara causal → softmax → pesos de atenção → soma ponderada.
- Editar as matrizes e ver na hora como os pesos de atenção mudam.
- Ler os mapas de calor de atenção, que mostram quais palavras a rede está olhando.
- Resolver exercícios e experimentar livremente numa simulação final.
Toda a matemática é calculada no seu navegador: nada é enviado para servidores.