O quê

Grokking é um fenômeno de dinâmica de treino: em certas tarefas, um modelo primeiro decora o treino (overfit completo, acurácia de validação no chão) e, se você continuar treinando por muito mais tempo, em algum momento ele subitamente “estala” e passa a generalizar — a acurácia de validação salta de ~0% para ~100%.

Descrito por Alethea Power e colegas (OpenAI) em 2022 (arXiv:2201.02177), em pequenas tarefas algorítmicas (aritmética modular), o salto acontece ~1000× mais passos depois do ponto em que o treino já estava perfeito. O nome vem de “grok” (Stranger in a Strange Land, de Heinlein): compreender algo tão profundamente que vira parte de você.

Em Magik LLM Gathering, é tratado como phenomenon · companion — o momento em que decorar vira entender.

Como funciona

Memorização primeiro, generalização depois

No início, a forma mais barata de zerar a loss de treino é memorizar os exemplos. Isso dá treino perfeito e validação péssima — overfit clássico. O interessante é o que vem depois: sob certas condições, o treino continuado leva a rede a trocar a solução memorizada por uma solução estruturada que generaliza.

Weight decay é o ingrediente secreto

A condição decisiva é a regularização (weight decay). A solução memorizada exige pesos “grandes e bagunçados”; a solução generalizante é mais simples (pesos menores, mais organizados). O weight decay pressiona continuamente por simplicidade — e, dado tempo suficiente, empurra a rede da memorização para a estrutura. Sem regularização, o grokking some.

A interpretabilidade abre a caixa

O trabalho de Nanda et al. (2023) foi um marco da Mechanistic Interpretability (SAE): ao dissecar uma rede que “grokou” aritmética modular, mostraram que ela aprendeu a calcular a resposta via representações de Fourier (senos e cossenos) — um algoritmo de verdade, não uma tabela decorada. O salto na validação coincide com a rede substituir a tabela pelo algoritmo.

Por que importa

Separa decorar de entender — empiricamente. Grokking dá um exemplo limpo e mensurável da diferença entre memorização e generalização, num laboratório pequeno o suficiente para ser totalmente compreendido. É um presente para quem estuda como redes aprendem.

Conecta-se a transições de fase. O salto abrupto lembra transições de fase da física e ecoa o debate sobre Emergent Capabilities: capacidades que aparecem de repente com escala/treino. Grokking sugere que parte dessas “emergências” pode ser estrutura latente que finalmente se cristaliza.

Valida a interpretabilidade mecanicista. Poder dizer exatamente qual circuito a rede aprendeu (Fourier) e quando (no estalo) é prova de conceito de que entender o interior de redes é possível — base de boa parte da agenda de segurança via interpretabilidade.

Estado em 2026

• Bancada de testes da teoria de aprendizado. Grokking virou ambiente padrão para estudar generalização, simplicidade e dinâmica de otimização em escala pequena e controlada.
• Ponte para emergência. Pesquisas exploram se fenômenos de Emergent Capabilities em LLMs grandes têm a mesma natureza de “estalo” do grokking.
• Importância do weight decay firmemente estabelecida como condição-chave; sem regularização, sem grokking.
• Fascina mecanistas. Continua sendo um dos casos mais citados quando se discute o que significa um modelo “realmente aprender” algo.

Tratamento de carta — proposta

Grokking Construct (Phenomenon) · Citadel

Anexe a um Modelo. Por vários turnos ele parece inútil (não recebe buffs, só acumula contadores de “treino”). Quando atingir 5 contadores, estala: descarta os contadores e ganha +5/+5 permanentes de uma só vez.

“Decorou por mil turnos. No mil-e-um, entendeu.”

A mecânica encena o salto tardio: investimento longo sem retorno aparente, seguido de generalização súbita.

Veja também

Emergent Capabilities · Mechanistic Interpretability (SAE) · Scaling Laws (Chinchilla) · Gradient Descent