COMPUTE WARS · BOOTSTRAPPING

Magik LLM
Gathering

Selando o pacto…
Pular para o conteúdo
Training Stack agentic-era 2021 technique

LoRA / QLoRA

Fine-tune barato: treina só pequenas matrizes 'low-rank' em vez dos pesos completos.

RESUMO

Hu et al. (Microsoft, 2021). 100-1000× menos memória. QLoRA (Dettmers 2023) adiciona quantização. Base de toda fine-tune amadora no Hugging Face / Civitai.

Tags: peft · efficient · community

VEJA TAMBÉM