Architectures
Estruturas internas de modelos modernos
7 conceitos 1956 → 2023 linha do tempo 7 com long-form
concept
◇ LONG-FORM
Symbolic AI (GOFAI)
Paradigma clássico de IA baseado em manipulação de símbolos, regras lógicas e representação explícita do conhecimento.
Abrir conceito
architecture
◇ LONG-FORM
Mixture of Experts (MoE)
Múltiplos sub-modelos especialistas, com router ativando só alguns por token.
Abrir conceito
technique
◇ LONG-FORM
Self-Attention
Cada token pondera todos os outros do contexto para atualizar sua própria representação.
Abrir conceito
architecture
◇ LONG-FORM
Transformer
Arquitetura baseada em self-attention. Sem recorrência, paraleliza no GPU, escala lindo.
Abrir conceito
architecture
◇ LONG-FORM
Diffusion Models
Aprenda a inverter ruído gaussiano: ruído → imagem. Base de DALL-E 2/3, Stable Diffusion, Sora.
Abrir conceito
architecture
◇ LONG-FORM
Stable Diffusion
Modelo de difusão latente open-weights que tornou geração text-to-image acessível em GPU de consumidor.
Abrir conceito
architecture
◇ LONG-FORM
Mamba / State Space Models
Alternativa ao Transformer com complexidade linear (vs quadrática) em contexto.
Abrir conceitoLer mais →