Architectures
Estruturas internas de modelos modernos
7 conceitos · ordenados cronologicamente
1956
concept
Symbolic AI (GOFAI)
Paradigma clássico de IA baseado em manipulação de símbolos, regras lógicas e representação explícita do conhecimento.
1991
architecture
Mixture of Experts (MoE)
Múltiplos sub-modelos especialistas, com router ativando só alguns por token.
2017
architecture
Transformer
Arquitetura baseada em self-attention. Sem recorrência, paraleliza no GPU, escala lindo.
2017
technique
Self-Attention
Cada token pondera todos os outros do contexto para atualizar sua própria representação.
2020
architecture
Diffusion Models
Aprenda a inverter ruído gaussiano: ruído → imagem. Base de DALL-E 2/3, Stable Diffusion, Sora.
2022
architecture
Stable Diffusion
Modelo de difusão latente open-weights que tornou geração text-to-image acessível em GPU de consumidor.
2023
architecture
Mamba / State Space Models
Alternativa ao Transformer com complexidade linear (vs quadrática) em contexto.
Ler mais →