O quê

Tree of Thoughts (ToT) é a técnica de prompting publicada por Shunyu Yao e equipe (Princeton/Google) em maio de 2023 que generaliza Chain-of-Thought para busca em árvore. Em vez de gerar uma única cadeia linear de raciocínio, o modelo gera múltiplas próximas etapas, avalia cada uma, e explora as mais promissoras — permitindo backtracking quando um caminho falha.

A inspiração explícita vem do trabalho clássico de Newell e Simon (1972) sobre resolução humana de problemas: humanos não pensam linearmente, eles ramificam, avaliam, voltam. ToT operacionaliza isso com LLMs como motor.

Em Magik LLM Gathering, Tree of Thoughts é tratada como Foundry · Technique · Rare — a primitiva que tirou prompting do unidimensional.

Como funciona

Os quatro componentes

ToT decompõe resolução de problemas em quatro perguntas:

1. Thought decomposition: como dividir o problema em etapas atômicas? Numa equação matemática, cada operação é um pensamento; num puzzle, cada movimento; em escrita criativa, cada parágrafo.

2. Thought generation: dado o estado atual, quais são os próximos pensamentos possíveis? O LLM gera N candidatos (tipicamente 3-5). Pode ser via prompt few-shot (“propose 5 next steps”) ou via sampling com temperatura > 0.

3. State evaluation: cada estado intermediário precisa de um score — quão promissor é continuar daqui? O próprio LLM avalia, geralmente classificando como “sure / maybe / impossible” ou dando score numérico.

4. Search algorithm: BFS (explora largura uniforme), DFS (vai fundo num caminho, backtrack se falhar), beam search (mantém top-k em cada nível). A escolha depende do problema.

Um exemplo concreto: Game of 24

Dado 4 números, combinar com +, -, ×, ÷ para chegar a 24. Exemplo: 4, 9, 10, 13.

• Chain-of-Thought (linear): “10 - 4 = 6, 13 - 9 = 4, 6 × 4 = 24 ✓”. OK, mas o modelo precisa acertar a sequência inteira de primeira.
• Tree of Thoughts:
  • Nível 1: gera 5 primeiras operações (10-4=6, 13-9=4, 4+9=13, …). Avalia cada uma: “qual leva mais próximo de 24?”.
  • Nível 2: para os 3 melhores, gera próximas operações com os 2 números restantes. Avalia novamente.
  • Continua até resolver ou exaurir profundidade. Se um caminho falha, backtrack.

Yao et al. relataram: GPT-4 com CoT resolve Game of 24 em ~4% dos casos; com ToT, em 74%. Ordem de magnitude de melhoria.

Custo

ToT é caro: você está chamando o LLM dezenas a centenas de vezes por problema. Para 4 níveis de profundidade × 5 candidatos × 1 chamada de avaliação cada, são ~120 chamadas. Comparado a CoT (1 chamada), ToT é 100× mais custoso.

A justificativa: para problemas onde acertar importa muito (compostas matemáticas, planejamento, prova de teorema), trocar custo por confiabilidade é vantagem clara.

Por que importa

ToT marcou uma virada conceitual:

• Prompting deixou de ser monolítico: antes do ToT, prompts eram blocos de texto enviados uma vez. ToT introduziu prompting iterativo, orquestrado, com estado — o que abriu a era dos LLM agents.
• Inspirou pesquisa em raciocínio sistemático: Graph of Thoughts (ramificações + merge), Algorithm of Thoughts (executa algoritmos clássicos via LLM), Skeleton of Thought (decompõe, paraleliza, mescla) — todos derivam do paradigma ToT.
• Validou compute scaling em inferência: o2/o3/o4 da OpenAI, R1 da DeepSeek, modelos “thinking” do Claude — todos operacionalizam variações de ToT internamente como parte do treinamento. Pagar compute extra em inferência para melhor raciocínio virou tese aceita.
• Conecta LLMs a IA simbólica clássica: ToT é literalmente busca em árvore + heurística, o pão e a manteiga da IA dos anos 70. A inovação é que o LLM serve simultaneamente como gerador de transições e como heurística — uma síntese que Newell e Simon não tinham acesso.

Pegadinhas

• Caro demais para produção massa: $1 por query ToT vs $0.005 por CoT. Reservado para casos onde acerto vale o custo.
• Avaliação é o ponto frágil: se o LLM avalia mal estados intermediários, ToT explora caminhos errados confiantemente. Calibrar prompts de avaliação é mais difícil que prompts de geração.
• Decomposição é problema-específica: o que conta como “um pensamento” varia por tarefa. ToT não tem fórmula universal — é framework + engenharia.
• Não generaliza para tudo: tarefas sem estrutura combinatória clara (escrita criativa aberta, conversação) não se beneficiam — pode até piorar, gerando soluções rígidas.
• Confunde com “model thinking”: ToT é técnica de prompting externa. Modelos como o1 fazem algo análogo internamente, treinado, sem precisar do framework externo. As duas abordagens são complementares mas distintas.

Estado em 2026

Em 2026, a maior reviravolta do Tree of Thoughts é que a ideia central — gastar compute em inferência para raciocinar deliberadamente, com ramificação e avaliação — saiu do prompt e entrou no modelo. Os reasoning models (o1/o3 da OpenAI, fim de 2024; DeepSeek-R1; Claude com extended thinking; Gemini Thinking) internalizaram busca/deliberação via RL, tornando o framework ToT externo desnecessário para muitos casos. O paradigma “test-time compute scaling” que o ToT antecipou virou tese central de 2025-2026.

Isso não matou o ToT como técnica — reposicionou-o. Orquestração externa explícita (gerar candidatos, avaliar, fazer backtracking) ainda ganha quando você precisa de controle fino, verificadores customizados, ou quando combina vários modelos. E a linhagem conceitual seguiu fértil: Graph of Thoughts, e sobretudo a fusão de LLMs com Monte Carlo Tree Search (estilo AlphaZero) para raciocínio, são descendentes diretos da intuição “LLM como gerador + heurística numa busca”.

Os trade-offs de 2026: o custo do ToT explícito (dezenas a centenas de chamadas) muitas vezes não compensa frente a um reasoning model que faz algo análogo embutido e mais barato. A avaliação de estados intermediários continua o ponto frágil — process reward models (PRMs) viraram área ativa justamente para pontuar passos de raciocínio de forma confiável. O consenso: a ideia do ToT venceu; sua implementação como framework de prompt virou nicho.

Tratamento de carta — proposta

Em Magik LLM Gathering, Tree of Thoughts aparece como Foundry · Technique · Rare: uma carta cara que permite “ramificar” o turno — ao invés de uma ação, você simula 3 e fica com a melhor. Mecânica espelha a essência: trade-off entre compute (turnos consumidos) e qualidade (decisão final).

Decks de ToT são lentos, contemplativos, devastadores quando funcionam. Não para todo jogador, mas indispensáveis em decks de combo de alta precisão.

Veja também

• Chain-of-Thought (CoT) — predecessor linear
• In-Context Learning — o que torna ToT viável
• Graph-of-Thoughts (GoT) — generalização para grafos (pesquisa paralela a Tree-of-Thought)
• ReAct — Reason + Act — variante orientada a ação