Hardware & Infra
GPUs, TPUs, inference chips, NPUs
4 conceitos · ordenados cronologicamente
2022
hardware
NVIDIA H100
GPU Hopper da NVIDIA — workhorse do treino LLM 2023-2025. ~$30k cada. HBM3, FP8 nativo.
2023
hardware
Google TPU v5/v6
Aceleradores customizados da Google. Trillium (v6, 2024) treina Gemini.
2024
hardware
NVIDIA B100/B200 Blackwell
Geração 2024-2025 da NVIDIA. ~2.5× mais throughput vs H100. FP4 nativo.
2024
hardware
Groq / Cerebras (Inference)
Chips especializados em INFERÊNCIA ultra-rápida. Llama 70B a 500+ tokens/seg.
Ler mais →