Catastrophic Forgetting
Quando fine-tuna em tarefa B, modelo esquece tarefa A. Por que treinos continuais são difíceis.
RESUMO
McCloskey & Cohen (1989). Mitigações: rehearsal, EWC, LoRA (preserva pesos base). Razão pela qual LLMs frontier não são 'atualizados continuamente' — preferem retrains.
Tags: forgetting · training-dynamics
VEJA TAMBÉM