Data & Corpora
Corpora, datasets, contamination
5 conceitos 1948 → 2023 linha do tempo 5 com long-form
concept
◇ LONG-FORM
Entropy (Shannon)
Medida da incerteza média em uma distribuição — H = -Σ p(x) log p(x). Fundamento da teoria da informação.
Abrir conceito
dataset
◇ LONG-FORM
Common Crawl
Crawl público da web — petabytes de HTML bruto. Base de quase todo LLM (GPT-3 era ~410B tokens dele).
Abrir conceito
dataset
◇ LONG-FORM
ImageNet
Dataset de 14M imagens rotuladas em 20k categorias — combustível do Big Bang do deep learning.
Abrir conceito
dataset
◇ LONG-FORM
The Stack
Corpus open-source de código (BigCode/HuggingFace). Base de Code Llama, StarCoder, etc.
Abrir conceito
dataset
◇ LONG-FORM
RedPajama / Dolma / FineWeb
Datasets open-source para reproduzir LLaMA-like training. Together AI, AI2, HuggingFace.
Abrir conceitoLer mais →