Cross-Entropy (loss)
Função de perda padrão para classificação — mede a distância entre distribuição prevista e distribuição alvo.
RESUMO
Cross-entropy H(p,q) = -Σ p(x) log q(x) penaliza prever distribuições erradas. É a loss padrão de softmax/sigmoid e de todo LLM treinado por next-token prediction. Equivalente a maximizar log-likelihood. Sem cross-entropy, sem GPT.
Tags: loss-function · training · classification
VEJA TAMBÉM