Phenomena & Laws
Scaling laws, emergent capabilities, grokking, double descent
5 conceitos 1980 → 2022 linha do tempo 5 com long-form
concept
◇ LONG-FORM
Chinese Room argument
Experimento mental de John Searle — manipular símbolos sem entender significado não é compreensão real.
Abrir conceito
phenomenon
◇ LONG-FORM
Catastrophic Forgetting
Quando fine-tuna em tarefa B, modelo esquece tarefa A. Por que treinos continuais são difíceis.
Abrir conceito
phenomenon
◇ LONG-FORM
Emergent Capabilities
Capacidades que aparecem 'do nada' em modelos grandes (não escalam smooth com tamanho).
Abrir conceito
phenomenon
◇ LONG-FORM
Grokking
Treine MUITO depois de overfit — eventualmente o modelo 'estala' e generaliza. Fascina mecanistas.
Abrir conceito
phenomenon
◇ LONG-FORM
Scaling Laws (Chinchilla)
Loss decresce previsivelmente com compute, params e dados. Chinchilla: balancear params e tokens 1:20.
Abrir conceitoLer mais →