O quê

Computer Use é a capacidade de modelos de IA operarem computadores como humanos fazem — vendo a tela (screenshots), movendo o cursor, clicando, digitando, rolando. Em vez de chamar APIs específicas pra cada serviço, o modelo aprende a usar a interface gráfica que humanos já usam: navegador, planilhas, sistema operacional inteiro.

Anthropic lançou Computer Use em outubro de 2024 com Claude 3.5 Sonnet (versão atualizada). OpenAI seguiu em janeiro de 2025 com Operator. Google tem Mariner. Em 2025, ficou claro que a interface humana — não APIs custom — é o novo plano de adoção pra automação de white-collar work.

Em Magik LLM Gathering, computer use é tratada como Technique · Inference · Rare — a primitiva que destrava qualquer software como ferramenta de IA.

Como funciona

O loop

A cada step:

1. Aplicação captura screenshot da tela atual.
2. Envia screenshot + task description + histórico de ações ao modelo.
3. Modelo retorna uma de três ações:
   • mouse(x, y, action) — mover, clicar, double-click, drag.
   • keyboard(text) ou keyboard(key) — digitar texto ou teclas especiais.
   • done() ou failed(reason) — terminar.
4. Aplicação executa a ação no sistema operacional real.
5. Captura nova screenshot. Loop.

Cada step custa uma chamada ao modelo + processamento da imagem. Tarefas típicas (preencher formulário, agendar reunião) levam 10-50 steps, ou seja $0.50-$5 e 30s-5min.

As habilidades necessárias

Pra operar um computador, o modelo precisa:

• Visão: ler a tela. Identificar botões, campos, texto, ícones. Calcular coordenadas (x, y) de elementos.
• Linguagem: entender o que a tarefa pede e o que a tela diz.
• Raciocínio espacial: clicar exatamente no ponto certo, não próximo.
• Memória: lembrar de steps anteriores (“já passei por aqui, preciso voltar”).
• Tolerância a falha: clicou errado? Detectar erro, recuperar, tentar de novo.

Modelos especializados para GUI (CogAgent, Pix2Act) são treinados em screenshots + ações. Modelos gerais (Claude, GPT-4o) podem fazer também mas precisam de prompting cuidadoso e tendem a errar em UIs densas.

Variantes de deployment

• Sandboxed browser (OpenAI Operator): modelo opera um browser num container isolado. Seguro mas limitado a web.
• Desktop full access (Claude Computer Use): modelo opera o desktop inteiro. Acesso a qualquer app, mas risco de segurança alto.
• Remote desktop (Devin): modelo opera uma VM remota dedicada. Bom equilíbrio.

Por que importa

Computer use é potencialmente a maior mudança em automação desde Selenium:

1. Não exige integração: serviços sem API pública (legacy enterprise apps, sites complexos sem REST API) viram automatizáveis. Sweet spot é exatamente esses casos.

2. Adaptável a UIs novas: integração tradicional quebra quando UI muda. Computer Use se adapta — o modelo “vê” a UI atual e reage.

3. Escalável horizontalmente: 100 instâncias do agent em paralelo, cada uma em sua VM, fazem trabalho de 100 analistas em paralelo.

4. Habilita novos modelos de negócio: “agent as a service” — você descreve tarefa, agent executa. Não precisa SDK, integração, login OAuth.

5. Aproxima IA do trabalho real: muito do white-collar work é “ver tela, decidir clique, ver resultado, decidir próximo”. Computer Use é literalmente isso.

A tese da Anthropic: empresas vão pagar por agents que fazem trabalho de horas humanas em minutos de compute. Computer Use é a primitiva que destrava casos onde APIs não existem.

Pegadinhas

• Precisão visual é frágil: modelos erram clicks em UIs densas (Excel, Photoshop). Erro de 5 pixels frequentemente vai pro botão errado.
• Lentidão: cada step ~2-5s (screenshot + LLM call + ação). Tarefas que humanos fazem em 30s podem levar 5-10min pro agent.
• Custo: $0.50-$5 por tarefa é proibitivo para automação trivial. Sweet spot são tarefas valiosas (vale o custo) e complexas (vale o tempo de setup).
• Segurança catastrófica: agent com acesso a desktop pode deletar arquivos, vazar senhas, fazer compras não autorizadas. Sandboxing + approval flows são mandatórios.
• Captcha e anti-bot: muitos sites detectam computer use e bloqueiam. Indústria de “anti-detection” começou (rotating proxies, residential IPs, human-like delays).
• Quebra em UI dinâmicas: animations, modals, popups confundem agentes. Heurística “espere a UI estabilizar antes de clicar” ajuda mas não resolve.
• Privacy: screenshots podem capturar dados sensíveis (emails, mensagens, senhas em formulários). Modelos podem inadvertidamente vazar esses dados em logs.
• Não é “AGI” ainda: agents Computer Use falham em tarefas que humanos fazem em segundos — drag-and-drop preciso, fluxos com 20+ steps, multi-tab orchestration.

Estado em 2026

Em 2026, computer use amadureceu de demo arriscada para categoria de produto. A Anthropic lançou agentes de computador mais robustos (Claude com “computer use” aprimorado), a OpenAI evoluiu o Operator para o “ChatGPT Agent”, e o Google avançou com Project Mariner/Gemini. Benchmarks dedicados — OSWorld, WebArena, WebVoyager — viraram a régua, e as pontuações subiram fortemente, embora ainda fiquem bem abaixo da confiabilidade humana em fluxos longos.

A arquitetura também bifurcou. Em vez de só “ver screenshot e clicar por coordenada”, surgiram abordagens híbridas que combinam a árvore de acessibilidade/DOM com visão, reduzindo erros de clique em UIs densas. Mesmo assim, os trade-offs centrais não desapareceram: latência (segundos por passo), custo (dólares por tarefa), fragilidade visual e a superfície de segurança — prompt injection via conteúdo da própria tela virou a ameaça mais discutida, já que um site ou documento malicioso pode “sequestrar” o agente.

O sweet spot de 2026 é claro: tarefas valiosas, repetitivas e sem API (QA de software, preenchimento de formulários legados, navegação em sistemas enterprise antigos). Para fluxos curtos e críticos, integração via API/MCP ainda ganha de “ver e clicar”. A aposta de longo prazo permanece: a interface humana é o maior conjunto de affordances já construído, e ensinar a IA a usá-la destrava trabalho que nenhuma API cobre.

Tratamento de carta — proposta

Em Magik LLM Gathering, computer use aparece como Technique · Inference · Rare: escolha um Model em jogo — ele pode controlar até 2 Constructs que você possui neste turno (executa suas habilidades passivas como se fossem ativas). No fim do turno, descarte 1 carta. Mecânica espelha a essência: Model “pega o cursor” e opera Constructs como se fossem extensão dele.

É a carta que destrava decks construct-heavy — sem ela, Constructs são passivos; com ela, viram ferramentas ativas do Model.

Veja também

• Function Calling / Tool Use — alternativa estruturada (API em vez de UI)
• LLM Agents — paradigma que computer use vive dentro
• MCP — Model Context Protocol — protocolo que padroniza tools (alternativa “ver e clicar”)
• Claude — primeiro modelo a lançar computer use em produção
• Transformer — habilidade base multimodal (vision + linguagem)