O quê

Diffusion models são uma família de modelos generativos que aprendem a gerar dados (imagens, áudio, vídeo, moléculas) invertendo um processo de adição gradual de ruído. A intuição: comece com uma imagem real, adicione ruído gaussiano em milhares de etapas até virar pura estática. Treine uma rede para reverter esse processo — dado um ruído, prever que ruído remover para chegar mais perto da imagem original. Iterando essa rede mil vezes a partir de pura estática, você gera imagens novas.

A formulação moderna veio com DDPM (Ho, Jain, Abbeel — UC Berkeley, 2020), construindo sobre trabalho de Sohl-Dickstein et al. (2015). Em dois anos, diffusion substituiu GANs como state-of-the-art em geração de imagem: DALL·E 2, Stable Diffusion, Midjourney, Imagen — todos diffusion. Em 2024-2026 expandiu para vídeo (Sora, Veo) e moléculas (AlphaFold-3 usa diffusion para conformações).

Em Magik LLM Gathering, diffusion models são tratados como Citadel · Architecture · Mythic — a família que reescreveu geração visual.

Como funciona

Forward process (adicionar ruído)

Define-se um processo de Markov de T passos (tipicamente T=1000). A cada passo, uma fração do sinal vira ruído gaussiano. Após T passos, a imagem é estatisticamente indistinguível de N(0, I) — ruído puro.

A escolha de quanto ruído adicionar por passo é o noise schedule (linear, cosseno, sigmoide). Cosseno é o default moderno — distribui o “trabalho” de denoising uniformemente.

Reverse process (remover ruído)

A rede neural aprende a tarefa inversa: dado x_t (versão ruidosa no passo t) e o índice de tempo t como condicional, prever o ruído ε que foi adicionado. Loss é simplesmente MSE entre ruído real e ruído previsto.

Durante inferência: começa com x_T ~ N(0, I), e itera T passos: a cada um, a rede prevê o ruído, você subtrai uma fração, adiciona um pouco de ruído novo (necessário para estocasticidade), e o passo seguinte continua. Após T iterações, sai uma imagem nova.

A arquitetura

A rede de denoising é tipicamente uma U-Net com atenção: encoder downsampling, decoder upsampling, skip connections horizontais. O timestep t é codificado via sinusoidal embeddings e injetado em cada bloco. Para condicionamento por texto (Stable Diffusion), o text embedding entra via cross-attention.

Latent diffusion (Stable Diffusion)

Rodar diffusion em pixels é caro — uma imagem 1024×1024 tem 3M valores. Stable Diffusion (Rombach et al. 2022) inovou rodando diffusion no espaço latente de um autoencoder pré-treinado: 64×64×4 = 16k valores. Mesma qualidade visual, 200× menos compute. Foi o que tornou diffusion viável em GPUs de consumidor.

Por que importa

Diffusion destronou GANs entre 2020 e 2022 por três razões:

1. Qualidade superior: GANs colapsam (mode collapse) ou geram artefatos sutis em distribuições complexas. Diffusion cobre o espaço de geração de forma mais uniforme — pega bem cauda longa, detalhes raros, composições inusitadas.

2. Estabilidade de treino: GANs envolvem dois modelos antagonistas (generator vs discriminator) — equilíbrio frágil, vulnerável a hiperparâmetros. Diffusion treina como qualquer modelo supervisionado — MSE loss, otimização padrão, sem instabilidade.

3. Condicionamento natural: prepending tokens de texto ao input do U-Net via cross-attention é trivial. GANs precisavam de truques (cGAN, AC-GAN) para condicionamento; diffusion ganhou de presente.

O impacto cultural foi sísmico: text-to-image passou de demos de lab (Imagen, 2022) para ferramentas de produção (Midjourney 2022+, Stable Diffusion open-source 2022) em meses. Designers, ilustradores, advertisers, todos começaram a usar — gerando ondas paralelas de adoção e de pânico moral sobre direitos autorais, deepfakes, e profissões criativas.

Em 2024-2025, vídeo seguiu: Sora (OpenAI), Veo (Google), Kling (Kuaishou) operacionalizaram diffusion no domínio temporal. Em ciência: AlphaFold-3 (DeepMind 2024) usa diffusion para gerar conformações 3D de proteínas — área onde GANs nunca funcionaram bem.

Pegadinhas

• Lentíssimo em inferência: 1000 forward passes por imagem é proibitivo. DDIM (Song et al. 2020) e schedulers determinísticos reduziram para 20-50 passos com qualidade similar; Consistency Models (Song et al. 2023) e rectified flow chegam a 1-4 passos para imagens razoáveis.
• Composability é fraca: diffusion não sabe combinar conceitos arbitrários. “Astronauta a cavalo na lua segurando uma placa que diz OPEN SOURCE” — texto na imagem frequentemente sai embaralhado, composição falha em prompts longos.
• Sensível a noise schedule: schedules mal escolhidos produzem amostras ruidosas ou borradas. Pesquisa contínua aqui — cosseno bate linear, mas há schedules ainda melhores task-specific.
• Memória de treino alta: requer guardar x_t para cada timestep durante backprop. Treinar diffusion de alta resolução exige GPUs com muita VRAM ou tricks de gradient checkpointing.
• Hallucina detalhes: diffusion preenche detalhes onde o prompt é ambíguo — mãos com 6 dedos, texto embaralhado, anatomia bizarra. Não é bug; é o modelo preenchendo o desconhecido com plausibilidade aprendida.
• Direitos autorais: modelos foram treinados em web-scraped data sem autorização clara. Litígios ativos (Getty vs Stability AI, NYT vs OpenAI). Implicações legais ainda se desenrolando.

Estado em 2026

Em 2026, diffusion continua dominando geração visual, mas a fronteira se moveu em duas direções. Primeiro, a amostragem ficou drasticamente mais barata: rectified flow / flow matching (a base do Stable Diffusion 3 e do FLUX) e consistency/distillation models reduziram de mil passos para 1-8 passos com qualidade alta — geração quase em tempo real. Segundo, vídeo virou o campo de batalha: Sora (OpenAI), Veo 2/3 (Google), Kling, Runway e Movie Gen (Meta) operacionalizaram diffusion temporal com minutos de vídeo coerente.

Houve também uma convergência arquitetural importante: a U-Net cedeu espaço para Diffusion Transformers (DiT), a espinha do Sora e do SD3. Em texto-para-imagem, o calcanhar histórico — renderizar texto legível e seguir prompts longos — melhorou muito com encoders de texto maiores e treino em legendas sintéticas detalhadas. Em ciência, AlphaFold-3 (2024) levou diffusion para estrutura molecular, área onde GANs nunca pegaram.

Os trade-offs de 2026: modelos autoregressive de imagem (a geração nativa do GPT-4o, 2025) reabriram a disputa “diffusion vs. autoregressive”, sem vencedor claro. E o conflito legal sobre dados de treino se intensificou — decisões como Getty vs. Stability e a série de processos contra OpenAI/Stability seguem moldando o que é treinável. Direitos autorais, deepfakes e proveniência (C2PA/watermarking) são agora parte central da conversa, não nota de rodapé.

Tratamento de carta — proposta

Em Magik LLM Gathering, diffusion models aparecem como Citadel · Architecture · Mythic: uma carta-evento massiva que, ao ser jogada, “gera” novas cartas no campo a partir do estado atual — espelhando a essência: criar do ruído. Cara para invocar, devastadora se ressonar com o resto do deck.

Decks construídos em torno de diffusion são generativos no sentido literal — usam recursos para criar mais recursos, em ciclos amplificadores.

Veja também

• GAN — Generative Adversarial Net — a família que diffusion destronou
• Stable Diffusion — modelo open-source canônico
• DDPM (Denoising Diffusion Probabilistic Models) — paper fundacional Ho et al. 2020
• CLIP — text encoder usado em condicionamento