O quê

ResNet (Residual Network) é a arquitetura de rede neural convolucional publicada por Kaiming He e equipe (Microsoft Research Asia) em dezembro de 2015. A inovação central — skip connections — destravou treinamento de redes profundas que até então degradavam quanto mais camadas adicionadas. ResNet com 152 camadas venceu a ILSVRC 2015 com folga, e introduziu uma primitiva que está em quase toda arquitetura moderna: Transformers, U-Nets, modelos de diffusion, ViTs.

A ideia é tão simples que parece óbvia em retrospecto: em vez de cada camada aprender H(x) diretamente, aprenda F(x) = H(x) - x (o residual) e some x de volta. A camada vira H(x) = F(x) + x. Se o residual ótimo for zero, basta a camada aprender pesos próximos de zero — muito mais fácil que aprender identidade explicitamente.

Em Magik LLM Gathering, ResNet é tratada como Foundry · Architecture · Rare — a engenharia que tornou profundidade arbitrária treinável.

Como funciona

O problema do degradação

Antes de ResNet, o consenso era: redes mais profundas devem performar melhor, mas treiná-las é difícil. Empiricamente, He et al. observaram algo pior: redes com 56 camadas tinham erro de treino maior que redes com 20. Não era overfitting (erro de treino, não teste) — era um problema de otimização. Profundidade estava destruindo a capacidade de aprender.

A skip connection

ResNet quebra cada bloco em duas peças:

1. Uma sequência de 2-3 conv layers que computa F(x).
2. Um shortcut que copia x diretamente.
3. Soma final: output = F(x) + x, seguida de ReLU.

O efeito matemático no gradiente: d(output)/d(x) = 1 + d(F)/d(x). Esse +1 garante que o gradiente nunca vanishe completamente — flui livremente pelas skip connections de volta às primeiras camadas. Redes de 1000+ camadas viraram treináveis.

Bottleneck blocks

Em redes muito profundas (50+), He et al. introduziram blocos bottleneck:

• 1×1 conv reduz channels (ex: 256 → 64)
• 3×3 conv opera em dimensão reduzida
• 1×1 conv expande de volta (64 → 256)

Reduz custo computacional sem perder capacidade representacional. ResNet-50 (50 camadas com bottleneck) virou o cavalo de trabalho da década seguinte em visão computacional.

Identity mappings

Em 2016, He et al. revisitaram o desenho e mostraram que mover o BatchNorm e ReLU para antes das convs (pre-activation) tornava o forward signal e o gradient ainda mais “puros” — output = x + F(x) sem nenhuma não-linearidade no shortcut. ResNet-1001 com pre-activation treinou estavelmente.

Por que importa

ResNet fez três coisas que reescreveram deep learning:

1. Destravou profundidade: VGG (2014) tinha 19 camadas como teto prático. ResNet abriu 100, 200, 1000. Provou que profundidade era genuinamente útil se a otimização não atrapalhasse.

2. Skip connections viraram primitiva universal:

   • Transformer (2017): cada bloco de attention e FFN é envolvido em residual + LayerNorm.
   • U-Net (2015, contemporâneo): skip connections entre encoder e decoder são a base de segmentação médica e modelos de diffusion.
   • DenseNet (2016): generaliza skip connections (cada camada conectada a todas anteriores).
   • Highway Networks (Schmidhuber et al. 2015): protótipo de residual com gates aprendidas.

3. Viabilizou foundation models de visão: ImageNet pre-training de ResNet-50/101 virou o backbone padrão para detection (Faster R-CNN), segmentation (Mask R-CNN), pose estimation. Por anos, qualquer paper de CV começava com “we use a ResNet-50 backbone”.

Curiosamente, Veit et al. (2016) mostraram que redes residuais se comportam como ensembles de redes mais rasas. Cada path possível através dos shortcuts é uma “sub-rede” implícita; o output final é uma média ponderada delas. Isso explica em parte por que profundidade extrema funciona — não é uma rede de 1000 camadas, é um ensemble exponencial de redes mais curtas.

Pegadinhas

• Skip connection precisa dimensões compatíveis: se a conv reduz spatial size ou muda channels, o shortcut precisa de uma projeção 1×1 conv para alinhar. Esquecer isso quebra a soma silenciosamente em alguns frameworks.
• BatchNorm placement importa: a ordem Conv → BN → ReLU vs BN → ReLU → Conv (pre-activation) tem efeitos materiais. Pre-activation é melhor para redes muito profundas.
• Não substitui regularização: ResNet treina deep, mas ainda precisa de weight decay, data augmentation, dropout em algumas camadas. Skip connections resolvem otimização, não overfitting.
• Inferência cara: ResNet-152 tem ~60M parâmetros e custos de inferência altos. Para edge/mobile, MobileNet e EfficientNet substituíram-na em produção, mas mantêm skip connections como primitiva.
• Skip não é mágica grátis: residual blocks adicionam latência de memória (precisa guardar x para somar depois). Em hardware otimizado para data movement (TPUs, ASICs), isso pesa.

Estado em 2026

Em 2026, ResNet é infraestrutura silenciosa: tem uma década, mas a primitiva que introduziu — a conexão residual — está em literalmente todo modelo de fronteira. Todo Transformer (e portanto todo LLM), todo Diffusion Transformer, todo ViT é uma pilha de blocos residuais. A skip connection venceu de forma tão completa que parou de ser citada — virou pressuposto arquitetural, como o uso de gradiente descendente.

Em visão computacional, o cenário mudou de fundo. Vision Transformers (ViT) e modelos híbridos como ConvNeXt (2022, um ResNet “modernizado” que rivaliza com ViTs) dividem espaço, e a era foundation-model chegou à visão com CLIP, SAM (Segment Anything) e DINOv2. ResNet-50, ainda assim, permanece como baseline e backbone onipresente em tarefas com dados limitados, edge e pipelines de produção — barato, bem entendido, suficiente.

O entendimento teórico também avançou: a leitura de que redes residuais se comportam como ensembles de caminhos rasos, e a conexão entre ResNets e equações diferenciais ordinárias (Neural ODEs), aprofundaram por que a profundidade extrema funciona. O trade-off prático que ResNet sempre teve — custo de memória por guardar ativações para a soma residual — segue presente, mas é universalmente aceito como o preço de treinar redes profundas.

Tratamento de carta — proposta

Em Magik LLM Gathering, ResNet aparece como Foundry · Architecture · Rare: uma carta que adiciona “fluxo de gradiente” entre cartas distantes do tabuleiro — efeitos de uma carta forte se propagam aditivamente para cartas mais antigas, evitando que envelheçam e percam relevância.

É a carta que destrava decks de longa duração. Sem ela, decks com 6+ cartas em jogo começam a degradar; com ela, profundidade vira vantagem.

Veja também

• AlexNet (2012) — o predecessor que abriu deep learning de visão
• Transformer — herdou skip connections como primitiva
• Batch Normalization — companheira de ResNet desde o nascimento
• Backpropagation — gradiente que skip connections ajudam a propagar em redes profundas