O quê

GPT-2 é o modelo de linguagem de 1,5 bilhão de parâmetros anunciado pela OpenAI em fevereiro de 2019 (Radford et al., Language Models are Unsupervised Multitask Learners). Foi um scale-up direto do GPT-1 — ~10× mais parâmetros, treinado em ~40 GB de texto da web (WebText, ~8 milhões de páginas) — com um único objetivo: prever a próxima palavra. Mostrou, pela primeira vez de forma convincente ao público, geração de parágrafos coerentes e versáteis.

Entrou para a história menos pela arquitetura e mais pela controvérsia de lançamento: a OpenAI decidiu não liberar imediatamente o modelo completo, alegando risco de uso malicioso (fake news, spam, impersonação) — o que rendeu o rótulo “perigoso demais para lançar”. A maior das 48 camadas decoder tinha d_model = 1600.

Como funciona

Arquitetura

GPT-2 é um Transformer decoder-only (Transformer) autoregressivo: gera texto token a token, cada um condicionado a todos os anteriores via Self-Attention mascarada. Não há nenhuma supervisão de tarefa — só modelagem de linguagem. A tese central do paper é que, ao treinar em um corpus diverso o bastante, o modelo aprende múltiplas tarefas implicitamente (tradução, resumo, Q&A) só por completar texto — um prenúncio do In-Context Learning que o GPT-3 explicitaria.

O lançamento escalonado

Em vez de tudo de uma vez, a OpenAI adotou staged release:

• fev. 2019 — 124M parâmetros;
• mai. 2019 — 355M;
• ago. 2019 — 774M (com relatório de risco);
• nov. 2019 — o 1.5B completo, com pesos e código.

A justificativa: usar os 9 meses para estudar riscos, desenvolver detectores de texto sintético e estabelecer normas de publicação responsável. No relatório final, a OpenAI concluiu que não havia evidência forte de uso malicioso até então.

Por que importa

• Estabeleceu o playbook de escala. “Mesma arquitetura, mais parâmetros e dados” funcionou — o caminho direto para GPT-3 e além (Scaling Laws (Chinchilla)).
• Inaugurou o debate sobre publicação responsável. A primeira vez que um lab segurou um modelo por questões de segurança — tema que define a governança de IA até hoje.
• Antecipou o multitarefa emergente. A ideia de que capacidades surgem do pré-treino, sem treino específico de tarefa.

Estado em 2026

Em retrospecto, a cautela com o GPT-2 parece ingênua: o modelo que era “perigoso demais” hoje roda em um laptop e gera, no máximo, spam medíocre — ofuscado por ordens de magnitude pelos modelos atuais. Mas o episódio foi historicamente importante: normalizou a discussão sobre estratégias de lançamento (aberto, escalonado, fechado, gated) que ressurge a cada modelo de fronteira — e que voltou ao centro do palco com pesos abertos como DeepSeek R1 (2025). O GPT-2 sobrevive como marco didático: o ponto onde geração de linguagem deixou de ser brinquedo de laboratório e a sociedade começou a perguntar “e se isso for usado para o mal?”.

Tratamento de carta — proposta

GPT-2, Too Dangerous To Release Modelo · Citadel · custo

Staged Release. GPT-2 entra em jogo “lacrado”. A cada um dos seus turnos, remova 1 dos 4 selos; ele só pode atacar ou ativar habilidades quando o último selo sair.

In Retrospect. Quando o último selo é removido, descubra: seu poder é modesto (2/2). O medo era maior que a ameaça.

“Não vamos lançar os pesos. É arriscado demais.” — nove meses depois, lançaram.

A mecânica encena o lançamento escalonado (selos liberados aos poucos) e a ironia retrospectiva (potência modesta ao final).

Veja também

GPT-1 (2018) · GPT-3 (2020) · Scaling Laws (Chinchilla) · Transformer · DeepSeek R1 (2025)