TRILHA · COMPUTE WARS

Data & Corpora

Corpora, datasets, contamination

5 conceitos · ordenados cronologicamente

Medida da incerteza média em uma distribuição — H = -Σ p(x) log p(x). Fundamento da teoria da informação.

Crawl público da web — petabytes de HTML bruto. Base de quase todo LLM (GPT-3 era ~410B tokens dele).

Dataset de 14M imagens rotuladas em 20k categorias — combustível do Big Bang do deep learning.

Corpus open-source de código (BigCode/HuggingFace). Base de Code Llama, StarCoder, etc.

Datasets open-source para reproduzir LLaMA-like training. Together AI, AI2, HuggingFace.

Magik LLMGathering