openclaw browser
e padrões de script (snapshots, refs, esperas, fluxos de depuração).
API de Controle (opcional)
Somente para integrações locais, o Gateway expõe uma pequena API HTTP de local loopback. Este servidor independente é opcional — defina a variável de ambienteOPENCLAW_EAGER_BROWSER_CONTROL_SERVER=1 no ambiente do serviço do gateway
e reinicie o gateway antes que os endpoints HTTP fiquem disponíveis. Sem
essa variável, o runtime de controle do navegador ainda funciona pela CLI e
pelas ferramentas de agente, mas nada escuta na porta de controle de loopback.
- Status/iniciar/parar:
GET /,POST /start,POST /stop - Abas:
GET /tabs,POST /tabs/open,POST /tabs/focus,DELETE /tabs/:targetId - Snapshot/captura de tela:
GET /snapshot,POST /screenshot - Ações:
POST /navigate,POST /act - Hooks:
POST /hooks/file-chooser,POST /hooks/dialog - Downloads:
POST /download,POST /wait/download - Permissões:
POST /permissions/grant - Depuração:
GET /console,POST /pdf - Depuração:
GET /errors,GET /requests,POST /trace/start,POST /trace/stop,POST /highlight - Rede:
POST /response/body - Estado:
GET /cookies,POST /cookies/set,POST /cookies/clear - Estado:
GET /storage/:kind,POST /storage/:kind/set,POST /storage/:kind/clear - Configurações:
POST /set/offline,POST /set/headers,POST /set/credentials,POST /set/geolocation,POST /set/media,POST /set/timezone,POST /set/locale,POST /set/device
?profile=<name>. POST /start?headless=true solicita uma
inicialização headless única para perfis gerenciados localmente sem alterar a
configuração persistida do navegador; perfis attach-only, CDP remoto e de
sessão existente rejeitam essa substituição porque o OpenClaw não inicia esses
processos de navegador.
Para endpoints de abas, targetId é o nome do campo de compatibilidade. Prefira passar
suggestedTargetId de GET /tabs ou POST /tabs/open; rótulos e identificadores
tabId, como t1, também são aceitos. IDs de alvo CDP brutos e prefixos
únicos de target-id bruto ainda funcionam, mas são identificadores de diagnóstico voláteis.
Se a autenticação do gateway por segredo compartilhado estiver configurada, as rotas HTTP do navegador também exigem autenticação:
Authorization: Bearer <gateway token>x-openclaw-password: <gateway password>ou autenticação HTTP Basic com essa senha
- Esta API independente de navegador em loopback não consome cabeçalhos de identidade trusted-proxy ou Tailscale Serve.
- Se
gateway.auth.modefornoneoutrusted-proxy, essas rotas de navegador em loopback não herdam esses modos com identidade; mantenha-as somente em loopback.
Contrato de erro de /act
POST /act usa uma resposta de erro estruturada para validação no nível da rota e
falhas de política:
code:
ACT_KIND_REQUIRED(HTTP 400):kindestá ausente ou não foi reconhecido.ACT_INVALID_REQUEST(HTTP 400): o payload da ação falhou na normalização ou validação.ACT_SELECTOR_UNSUPPORTED(HTTP 400):selectorfoi usado com um tipo de ação incompatível.ACT_EVALUATE_DISABLED(HTTP 403):evaluate(ouwait --fn) está desativado pela configuração.ACT_TARGET_ID_MISMATCH(HTTP 403):targetIdde nível superior ou em lote conflita com o alvo da solicitação.ACT_EXISTING_SESSION_UNSUPPORTED(HTTP 501): a ação não é compatível com perfis de sessão existente.
{ "error": "<message>" } sem um
campo code.
Requisito do Playwright
Alguns recursos (navigate/act/snapshot de IA/snapshot de função, capturas de tela de elemento, PDF) exigem Playwright. Se o Playwright não estiver instalado, esses endpoints retornam um erro 501 claro. O que ainda funciona sem Playwright:- Snapshots ARIA
- Snapshots de acessibilidade em estilo de função (
--interactive,--compact,--depth,--efficient) quando um WebSocket CDP por aba está disponível. Isso é um fallback para inspeção e descoberta de refs; o Playwright continua sendo o mecanismo principal de ação. - Capturas de tela de página para o navegador
openclawgerenciado quando um WebSocket CDP por aba está disponível - Capturas de tela de página para perfis
existing-session/ Chrome MCP - Capturas de tela baseadas em refs de
existing-session(--ref) a partir da saída de snapshot
navigateact- Snapshots de IA que dependem do formato de snapshot de IA nativo do Playwright
- Capturas de tela de elemento por seletor CSS (
--element) - exportação completa de PDF do navegador
--full-page; a rota retorna fullPage is not supported for element screenshots.
Se você vir Playwright is not available in this gateway build, o Gateway empacotado
não tem a dependência principal do runtime de navegador. Reinstale ou atualize
o OpenClaw e reinicie o gateway. Para Docker, instale também os binários do navegador
Chromium como mostrado abaixo.
Instalação do Playwright no Docker
Se o seu Gateway roda no Docker, evitenpx playwright (conflitos de substituição do npm).
Para imagens personalizadas, inclua o Chromium na imagem:
PLAYWRIGHT_BROWSERS_PATH (por exemplo,
/home/node/.cache/ms-playwright) e garanta que /home/node seja persistido via
OPENCLAW_HOME_VOLUME ou um bind mount. O OpenClaw detecta automaticamente o Chromium
persistido no Linux. Consulte Docker.
Como funciona (interno)
Um pequeno servidor de controle em loopback aceita solicitações HTTP e se conecta a navegadores baseados em Chromium via CDP. Ações avançadas (click/type/snapshot/PDF) passam pelo Playwright sobre CDP; quando o Playwright está ausente, apenas operações que não dependem do Playwright ficam disponíveis. O agente vê uma interface estável enquanto navegadores e perfis locais/remotos são trocados livremente por baixo.Referência rápida da CLI
Todos os comandos aceitam--browser-profile <name> para direcionar um perfil específico, e --json para saída legível por máquina.
Básico: status, abas, abrir/focar/fechar
Básico: status, abas, abrir/focar/fechar
Inspeção: captura de tela, snapshot, console, erros, solicitações
Inspeção: captura de tela, snapshot, console, erros, solicitações
uploadedialogsão chamadas de preparação; execute-as antes do click/press que aciona o seletor/diálogo. Se uma ação abrir um modal, a resposta da ação incluiblockedByDialogebrowserState.dialogs.pending; passe essedialogIdpara responder diretamente. Diálogos tratados fora do OpenClaw aparecem embrowserState.dialogs.recent.click/type/etc exigem umarefdesnapshot(numérica12, ref de funçãoe12ou ref ARIA acionávelax12). Seletores CSS intencionalmente não são aceitos para ações. Useclick-coordsquando a posição visível no viewport for o único alvo confiável.- Caminhos de download e trace são restritos às raízes temporárias do OpenClaw:
/tmp/openclaw{,/downloads}(fallback:${os.tmpdir()}/openclaw/...). uploadaceita arquivos da raiz temporária de uploads do OpenClaw e mídia de entrada gerenciada pelo OpenClaw. Mídia de entrada gerenciada pode ser referenciada comomedia://inbound/<id>,media/inbound/<id>relativo ao sandbox, ou um caminho resolvido dentro do diretório de mídia de entrada gerenciada. Refs de mídia aninhadas, traversal, symlinks, hardlinks e caminhos locais arbitrários ainda são rejeitados.uploadtambém pode definir inputs de arquivo diretamente via--input-refou--element.
suggestedTargetId de tabs em scripts.
Resumo dos flags de snapshot:
--format ai(padrão com Playwright): instantâneo de IA com refs numéricas (aria-ref="<n>").--format aria: árvore de acessibilidade com refsaxN. Quando Playwright está disponível, o OpenClaw vincula refs com IDs DOM de backend à página ativa para que ações posteriores possam usá-las; caso contrário, trate a saída apenas como inspeção.--efficient(ou--mode efficient): predefinição compacta de instantâneo de funções. Definabrowser.snapshotDefaults.mode: "efficient"para tornar isso o padrão (consulte configuração do Gateway).--interactive,--compact,--depth,--selectorforçam um instantâneo de funções com refsref=e12.--frame "<iframe>"limita instantâneos de funções a um iframe.- Com Playwright,
--labelsadiciona uma captura de tela com rótulos de ref sobrepostos (imprimeMEDIA:<path>) mais um arrayannotationscom a caixa delimitadora de cada ref. Emscreenshot, rótulos baseados em Playwright funcionam com--full-page,--refe--element; emsnapshot, a captura de tela acompanhante permanece apenas da viewport. Perfis existing-session/chrome-mcp renderizam rótulos sobrepostos em capturas de tela da página, mas não retornamannotationsnem usam o auxiliar de projeção full-page/ref/element do Playwright. Sem Playwright ou chrome-mcp, capturas de tela rotuladas não ficam disponíveis. --urlsacrescenta destinos de links descobertos aos instantâneos de IA.
Instantâneos e refs
O OpenClaw oferece suporte a dois estilos de “instantâneo”:-
Instantâneo de IA (refs numéricas):
openclaw browser snapshot(padrão;--format ai)- Saída: um instantâneo de texto que inclui refs numéricas.
- Ações:
openclaw browser click 12,openclaw browser type 23 "hello". - Internamente, a ref é resolvida por meio de
aria-refdo Playwright.
-
Instantâneo de funções (refs de função como
e12):openclaw browser snapshot --interactive(ou--compact,--depth,--selector,--frame)- Saída: uma lista/árvore baseada em funções com
[ref=e12](e[nth=1]opcional). - Ações:
openclaw browser click e12,openclaw browser highlight e12. - Internamente, a ref é resolvida por meio de
getByRole(...)(maisnth()para duplicatas). - Adicione
--labelspara incluir uma captura de tela com rótulose12sobrepostos. Em perfis baseados em Playwright, isso também retorna metadados de caixa delimitadora por ref (annotations[]). - Adicione
--urlsquando o texto do link for ambíguo e o agente precisar de destinos de navegação concretos.
- Saída: uma lista/árvore baseada em funções com
-
Instantâneo ARIA (refs ARIA como
ax12):openclaw browser snapshot --format aria- Saída: a árvore de acessibilidade como nós estruturados.
- Ações:
openclaw browser click ax12funciona quando o caminho do instantâneo consegue vincular a ref por meio do Playwright e IDs DOM de backend do Chrome.
-
Se o Playwright não estiver disponível, instantâneos ARIA ainda podem ser úteis para
inspeção, mas as refs podem não ser acionáveis. Gere um novo instantâneo com
--format aiou--interactivequando precisar de refs de ação. -
Prova Docker para o caminho de fallback raw-CDP:
pnpm test:docker:browser-cdp-snapshotinicia o Chromium com CDP, executabrowser doctor --deepe verifica se instantâneos de funções incluem URLs de links, clicáveis promovidos por cursor e metadados de iframe.
- Refs não são estáveis entre navegações; se algo falhar, execute
snapshotnovamente e use uma ref nova. /actretorna otargetIdbruto atual após substituição acionada por ação quando consegue provar a aba substituta. Continue usando IDs/rótulos de aba estáveis para comandos posteriores.- Se o instantâneo de funções foi obtido com
--frame, as refs de função ficam limitadas àquele iframe até o próximo instantâneo de funções. - Refs
axNdesconhecidas ou antigas falham rapidamente em vez de cair no seletoraria-refdo Playwright. Execute um novo instantâneo na mesma aba quando isso acontecer.
Recursos avançados de espera
Você pode esperar por mais do que apenas tempo/texto:- Esperar por URL (globs com suporte do Playwright):
openclaw browser wait --url "**/dash"
- Esperar pelo estado de carregamento:
openclaw browser wait --load networkidle- Compatível com perfis gerenciados
openclawe perfis CDP raw/remotos. Os perfisusereexisting-sessionrejeitamnetworkidle; use esperas por--url,--text, um seletor ou--fnnesses casos.
- Esperar por um predicado JS:
openclaw browser wait --fn "window.ready===true"
- Esperar um seletor ficar visível:
openclaw browser wait "#main"
Fluxos de depuração
Quando uma ação falhar (por exemplo, “not visible”, “strict mode violation”, “covered”):openclaw browser snapshot --interactive- Use
click <ref>/type <ref>(prefira refs de função no modo interativo) - Se ainda falhar:
openclaw browser highlight <ref>para ver o que o Playwright está mirando - Se a página se comportar de forma estranha:
openclaw browser errors --clearopenclaw browser requests --filter api --clear
- Para depuração profunda: grave um trace:
openclaw browser trace start- reproduza o problema
openclaw browser trace stop(imprimeTRACE:<path>)
Saída JSON
--json é para scripts e ferramentas estruturadas.
Exemplos:
refs mais um pequeno bloco stats (lines/chars/refs/interactive) para que ferramentas possam raciocinar sobre tamanho e densidade da carga útil.
Estado e ajustes de ambiente
Eles são úteis para fluxos de trabalho do tipo “fazer o site se comportar como X”:- Cookies:
cookies,cookies set,cookies clear - Armazenamento:
storage local|session get|set|clear - Offline:
set offline on|off - Cabeçalhos:
set headers --headers-json '{"X-Debug":"1"}'(set headers --json '{"X-Debug":"1"}'legado continua compatível) - Autenticação básica HTTP:
set credentials user pass(ou--clear) - Geolocalização:
set geo <lat> <lon> --origin "https://example.com"(ou--clear) - Mídia:
set media dark|light|no-preference|none - Fuso horário / localidade:
set timezone ...,set locale ... - Dispositivo / viewport:
set device "iPhone 14"(predefinições de dispositivo do Playwright)set viewport 1280 720
Segurança e privacidade
- O perfil de navegador do openclaw pode conter sessões autenticadas; trate-o como sensível.
browser act kind=evaluate/openclaw browser evaluateewait --fnexecutam JavaScript arbitrário no contexto da página. Prompt injection pode direcionar isso. Desative combrowser.evaluateEnabled=falsese você não precisar disso.openclaw browser evaluate --fnaceita uma fonte de função, uma expressão ou um corpo de declaração. Corpos de declaração são encapsulados como funções assíncronas, então usereturnpara o valor que você quer receber de volta. Use--timeout-ms <ms>quando a função no lado da página puder precisar de mais tempo do que o timeout padrão de avaliação.- Para logins e observações anti-bot (X/Twitter etc.), consulte Login no navegador + publicação no X/Twitter.
- Mantenha o host do Gateway/nó privado (loopback ou somente tailnet).
- Endpoints CDP remotos são poderosos; crie túneis e proteja-os.
Relacionados
- Navegador - visão geral, configuração, perfis, segurança
- Login no navegador - entrar em sites
- Solução de problemas do navegador no Linux
- Solução de problemas do navegador no WSL2