Entropy (Shannon)
Medida da incerteza média em uma distribuição — H = -Σ p(x) log p(x). Fundamento da teoria da informação.
RESUMO
Shannon (1948) definiu entropia como o limite inferior teórico de compressão sem perda. Em ML, entropia mede 'surpresa' de uma distribuição — alta entropia = imprevisível, baixa = previsível. Base para cross-entropy loss, mutual information e princípios de máxima entropia.
Tags: information-theory · shannon · uncertainty
VEJA TAMBÉM