Attention (mechanism)
Mecanismo que permite ao modelo focar em partes relevantes da entrada — peso aprendido por par (query, key).
RESUMO
Introduzido por Bahdanau et al. (2014) para tradução neural — soft alignment substituiu o vetor de contexto fixo. Em 2017, Vaswani et al. mostraram que atenção sozinha (sem recorrência) basta: nasce o Transformer. Self-attention é o coração de todo LLM moderno.
Tags: attention · transformer-precursor · alignment
VEJA TAMBÉM