O quê

In-Context Learning (ICL) é a capacidade que LLMs grandes possuem de aprender uma tarefa nova a partir de poucos exemplos no prompt, sem que nenhum peso do modelo seja atualizado. Você mostra 2-30 exemplos do tipo (input, output) e o modelo aplica o padrão ao input seguinte.

Foi documentado formalmente no paper “Language Models are Few-Shot Learners” (Brown et al., OpenAI, maio/2020) — o paper do GPT-3. Esse foi o achado que destravou tudo o que veio depois: você pode usar um único modelo genérico para qualquer tarefa, sem fine-tuning, apenas estruturando o prompt.

Em Magik LLM Gathering, ICL é tratado como Phenomenon · Concept · Common, peça fundamental do paradigma operacional moderno — modelos como ferramentas universais via prompt.

Como funciona

O exemplo canônico

Translate English to French:
sea otter => loutre de mer
peppermint => menthe poivrée
plush giraffe => girafe en peluche
cheese => 

GPT-3 (e qualquer LLM moderno) completa com “fromage”. Nada foi treinado especificamente para tradução com poucos exemplos — o modelo infere o padrão a partir do contexto.

Variantes

• Zero-shot — só descrição da tarefa, nenhum exemplo:

  Traduza para francês: cheese

• One-shot — 1 exemplo:

  sea otter => loutre de mer
  cheese => 

• Few-shot — 2 a 30+ exemplos. Costuma ser o melhor regime quando a tarefa é não-trivial.

Como o modelo “aprende” no prompt

Esse é o mistério central de ICL. Como o modelo, com pesos congelados, adapta seu comportamento a um padrão visto pela primeira vez? Várias hipóteses circulam:

1. ICL como meta-learning emergente

O modelo, durante pretraining, viu muitos episódios de pequenos padrões dentro de documentos — livros que mostram exemplos antes de generalizar, código que tem doctests, formulários com exemplos. Aprende, implicitamente, a padronizar a partir de poucos exemplos. Isso é meta-learning sem se chamar meta-learning.

2. ICL como inferência bayesiana implícita

Trabalhos de Akyürek et al. (2023), Xie et al. (2022) mostraram que para classes simples (regressão linear, k-NN), transformers em ICL emulam algoritmos de aprendizado clássicos — o forward pass do modelo executa gradient descent ou inferência bayesiana sobre os exemplos. O modelo é tipo um interpreter de algoritmo de aprendizado comprimido em pesos.

3. ICL como Bayesian model selection

Hipótese complementar: o pretraining ensina o modelo a inferir qual distribuição os exemplos sugerem e amostrar de acordo. Modelos veem corpora multi-domínio e aprendem priors sobre que tipo de distribuição estão sendo testados.

4. ICL como pattern matching superficial

Min et al. (2022) provocaram a comunidade: descobriram que para muitas tarefas de classificação, substituir os rótulos por aleatórios mantém boa parte da performance. Isso sugere que o modelo não está realmente aprendendo a tarefa, mas reconhecendo formato/estilo e gerando algo no formato esperado. Para tarefas simples, o “learning” pode ser ilusório.

A verdade provavelmente é uma mistura desses regimes, com pesos diferentes por tarefa e por escala do modelo.

Sensibilidade

ICL é notoriamente frágil:

• Ordem dos exemplos matters — embaralhar pode degradar performance.
• Distribuição dos exemplos matters — se você dá só exemplos positivos, modelo aprende viés positivo.
• Format matters — pequenas mudanças em delimitadores podem mudar saída.
• Calibração é difícil — modelo tende a preferir certas labels independentemente do conteúdo.

Mitigações: balanced sampling, ordering tricks (recency bias matters), calibration probes — virou área de pesquisa formal.

Por que importa

Transformou a interface de IA. Antes do ICL, “usar uma IA” significava: dataset, fine-tuning, hyperparameter search, deploy de modelo customizado. ICL transformou em: prompt criativo + API call. Esse foi o catalisador do boom de aplicações LLM em 2020-2023 — barreira de entrada caiu de meses para minutos.

Habilitou o paradigma “model-as-API”. OpenAI vendendo GPT-3 como API só fez sentido porque ICL permitia muitas tarefas via prompt único. Sem ICL, cada cliente precisaria de fine-tuning customizado — não escala como produto SaaS.

Inaugurou prompt engineering como ofício. Surgiu a profissão de “prompt engineer”: pessoas que sabem escrever exemplos e templates que destravam capacidades específicas. Cursos, livros, certificações apareceram. Em 2024-2025 a profissão evoluiu para “context engineering” — uma disciplina mais ampla que inclui RAG, tool selection, system prompts, instruction hierarchies.

Trouxe debate sobre o que “aprender” significa. Modelos aprendem padrões dentro do prompt sem mudar peso. Isso é aprendizado? É memorização? É uma forma nova? Os trabalhos teóricos pós-2022 mostraram que transformers podem implementar algoritmos de aprendizado clássicos — sugerindo que ICL é compositional algorithm execution, não memorização.

É a fundação operacional de tudo que veio depois. Chain-of-Thought (Wei, 2022) — variante elaborada de ICL com raciocínio explícito. ReAct, Tree-of-Thought, Self-Consistency, Constitutional AI, RAG — todos são técnicas que estruturam ICL de formas crescentemente sofisticadas. O modelo continua o mesmo; a engenhosidade está no contexto.

Tem limitações que ainda direcionam pesquisa. ICL não consolida memória entre conversas (cada prompt é independente). Não generaliza bem para tarefas muito longe da distribuição de pretraining. Custa caro em tokens. Por isso paralelamente cresceram fine-tuning leve (LoRA, LoRA / QLoRA), memory systems (Letta/MemGPT, claude memory), RAG (RAG — Retrieval-Augmented Generation) — todas tecnologias que complementam ICL sem substituí-lo.

Estado em 2026

• ICL é interface default. Toda aplicação LLM em produção usa few-shot ou zero-shot prompting em alguma camada.
• Long context destravou ICL massivo. Modelos com 1M+ tokens (Gemini, Claude com extended) podem incluir dezenas de milhares de exemplos no prompt — convergindo com fine-tuning em alguns casos.
• In-context demonstration mining virou pattern: dynamically select os melhores exemplos para incluir no prompt, baseado em similaridade com a query atual.
• Reasoning-as-ICL — o-1, DeepSeek-R1 e variantes mostram que prompt structure que pede CoT continua sendo o trigger principal. Modelos “reasoning” são modelos com ICL turbinada por RL no formato de CoT.
• ICL theory segue área ativa — pesquisadores ainda estão descobrindo exatamente o que está acontecendo internamente.

Tratamento de carta — proposta

In-Context Learning Construct · Phenomenon · Neutral · custo

Phenomenon.

Sempre que um Modelo seu precisa pagar uma keyword que ele não possui, você pode revelar até 3 cartas da sua mão. Para cada keyword diferente revelada, o Modelo trata como se possuísse essa keyword até o fim do turno.

“Não aprende. Mostra exemplos. O modelo reconhece o padrão.”

A mecânica encena: o modelo (sem treinar) inspeciona exemplos que você mostra (cartas reveladas) e aplica o padrão temporariamente.

Veja também

GPT-3 (2020) · Chain-of-Thought (CoT) · Emergent Capabilities · Scaling Laws (Chinchilla) · Transformer