COMPUTE WARS · BOOTSTRAPPING

Magik LLM
Gathering

Forjando sua jornada…
Pular para o conteúdo
Prompt Engineeringllm-era2020technique

Few-Shot Prompting

3-10 exemplos no prompt. Habilidade que emergiu em GPT-3 — 'a-ha' moment do paper original.

O quê

Few-shot prompting é a técnica de instruir um LLM em uma nova tarefa fornecendo alguns exemplos resolvidos no próprio prompt — sem qualquer atualização de pesos, sem fine-tuning, sem treinamento. O modelo “aprende” a tarefa apenas observando os padrões nos exemplos, então generaliza para o input novo.

A descoberta foi formalizada pelo paper GPT-3 (Brown et al., 2020), que mostrou pela primeira vez que escala — modelos com 175B parâmetros — destrava capacidades qualitativamente novas. Few-shot prompting virou a interface padrão de uso de LLMs para tarefas que não merecem fine-tuning dedicado.

Em Magik LLM Gathering, few-shot prompting é tratada como Foundry · Technique · Common — a primitiva mais elementar e mais usada de prompt engineering.

Como funciona

O formato

Um prompt few-shot típico tem três partes:

  1. Instrução opcional: “Traduza inglês para francês.”
  2. Demonstrações (shots): alguns pares input/output resolvidos.
  3. Query: o input novo, sem resposta — o modelo continua a partir dali.

Exemplo concreto, 3-shot:

Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
cheese => fromage
plush giraffe =>

O modelo, treinado para prever próximo token, completa naturalmente: girafe en peluche. Não houve fine-tuning. Não houve treino. Só pattern-matching contextual.

Por que funciona

Few-shot prompting depende de in-context learning (ICL) — a habilidade do modelo de detectar padrões dentro do contexto e aplicá-los. Essa habilidade não foi treinada explicitamente — emergiu como subproduto de pre-training em terabytes de texto que contém naturalmente sequências do tipo “definição → exemplo → exemplo → novo caso”.

Min et al. (2022) mostraram algo perturbador: o que realmente importa nas demonstrações não é a correção dos outputs, mas o formato e a distribuição de labels. Você pode trocar respostas certas por respostas aleatórias e o modelo ainda performa razoavelmente — desde que o formato seja consistente. Isso sugere que ICL extrai metainformação da estrutura, não aprende a tarefa no sentido tradicional.

Variantes

  • Zero-shot: sem demonstrações, só instrução. Funciona em modelos grandes e tarefas comuns.
  • One-shot: exatamente uma demonstração.
  • Few-shot: tipicamente 3-32 demonstrações.
  • Many-shot: dezenas a centenas (viável com context windows de 1M+ tokens). Pesquisa recente mostra ganhos consistentes até 128+ demonstrações em algumas tarefas.
  • Chain-of-thought few-shot: demonstrações incluem raciocínio passo-a-passo, não só resposta final. Multiplicador em tarefas de matemática e raciocínio.

Por que importa

Few-shot prompting reescreveu como a indústria usa LLMs:

  • Reduziu fine-tuning a casos especializados: antes do GPT-3, qualquer tarefa nova exigia coletar dados, fine-tunar, deployar um modelo separado. Pós GPT-3, a maioria das tarefas resolve com 3-10 exemplos no prompt.
  • Acelerou prototipagem: validar uma ideia de produto IA caiu de semanas (coletar dataset, fine-tunar, avaliar) para minutos (escrever um prompt few-shot, testar).
  • Democratizou desenvolvimento: usuários sem expertise em ML conseguem usar LLMs efetivamente — basta saber escrever bons exemplos.
  • Funcionou de motor para auto-melhoria: sistemas usam LLMs para gerar few-shot demonstrações para outros LLMs (synthetic data generation), criando loops de bootstrapping.

A descoberta veio com a observação de scaling laws: capacidade de few-shot learning emerge bruscamente em modelos com 6B-67B parâmetros. Modelos menores fazem few-shot mal; modelos grandes fazem bem. Foi a primeira evidência forte de emergent capabilities — habilidades que aparecem com escala e não estavam presentes em versões menores.

Pegadinhas

  • Ordem dos exemplos importa: Liu et al. (2021) mostraram que reordenar demonstrações muda performance em até 30 pontos percentuais. Não há ordem “ótima” universal; depende do modelo e da tarefa.
  • Vies por labels frequentes: se 2 dos 3 exemplos têm output “positivo”, o modelo tende a responder “positivo” no quarto, independente do input.
  • Selection bias: humanos escolhem exemplos “fáceis” instintivamente. O modelo aprende uma versão simplificada da tarefa — falha em casos difíceis em produção.
  • Token cost: cada demonstração ocupa contexto. 32-shot em prompts com ~200 tokens cada = 6400 tokens só de demonstrações, antes do prompt do usuário. Em produção isso vira custo real.
  • Não substitui fine-tuning para volume: se você roda a mesma tarefa 1M vezes/dia, fine-tunar é mais barato que pagar tokens de demonstrações em cada chamada.
  • Confunde com sistema de cache: muitos provedores cacheiam prefixos de prompt — coloque demonstrações no início, query no fim, e o cache hit reduz custo a ~10%.

Estado em 2026

Em 2026, few-shot prompting continua útil mas perdeu centralidade. Modelos de fronteira ficaram tão bons em zero-shot (graças a instruction-tuning massivo) que, para muitas tarefas, adicionar exemplos rende pouco — às vezes até atrapalha, ao “prender” o modelo a um formato. O reflexo prático: a maioria dos prompts de produção em 2026 é zero-shot com instruções claras + schema de saída, reservando exemplos para casos onde o formato é idiossincrático.

Onde few-shot ressurgiu foi no regime many-shot. Com janelas de 100k-1M tokens (Gemini, Claude, GPT), o Google mostrou (2024) que centenas a milhares de exemplos no contexto rivalizam com fine-tuning em várias tarefas — “in-context learning em escala”. Prompt caching tornou isso economicamente viável: você paga os milhares de tokens de demonstração uma vez e reusa barato nas chamadas seguintes.

Para os modelos de raciocínio (o-series, R1, Claude thinking), há uma reviravolta contraintuitiva: a própria OpenAI passou a recomendar evitar few-shot CoT nesses modelos, porque eles já raciocinam internamente e os exemplos podem degradar o resultado. O consenso de 2026: few-shot é ferramenta de nicho (fixar formato, tarefas raras, many-shot como substituto de fine-tune), não mais a interface default que era em 2020.

Tratamento de carta — proposta

Em Magik LLM Gathering, few-shot prompting aparece como Foundry · Technique · Common: a primitiva universal. Custo baixíssimo, efeito variável conforme as cartas-exemplo no entorno. Não vence sozinha, mas potencializa outras técnicas — espelhando seu papel real no ecossistema.

É a primeira carta que todo deck Foundry inclui — onipresente, eficiente, fundamental.

Veja também

Feito pela Magik LLM Gathering

Isto que você acabou de ler é o nosso trabalho.

A Magik LLM Gathering constrói produtos de IA de verdade — e escreve sobre eles em português, sem hype. Se quiser conversar sobre o seu, deixe seu contato.

Sem spam. Respondemos pessoalmente. Ao enviar, você concorda com a política de privacidade.

FONTES
  • Brown, T. et al. (2020). Language Models are Few-Shot Learners (GPT-3). NeurIPS 2020. arXiv:2005.14165.
  • Lake, B.M. et al. (2017). Building Machines That Learn and Think Like People. Behavioral and Brain Sciences.
  • Min, S. et al. (2022). Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? arXiv:2202.12837.
  • Liu, J. et al. (2021). What Makes Good In-Context Examples for GPT-3? arXiv:2101.06804.