Skip to main content
screen 工具可让智能体编排基于浏览器的 Control UI。它是一个 类型化的布局和导航界面,并非用于截取屏幕截图或进行浏览器 自动化。 仅当发起请求的客户端声明 ui-commands 能力时,才会提供该工具。 工具运行时,必须仍有至少一个具备此能力的 Control UI 保持连接; 否则,Gateway 网关将返回 UNAVAILABLE

操作

命令成功执行后,Gateway 网关会广播类型化的 ui.command 事件, 随后返回 { "ok": true }

路由与安全

协议 v1 有意将命令发送给每个已连接且声明 ui-commands 的 Control UI;它不会以某个浏览器标签页为目标。当同一 操作员打开了多个仪表板时,这一点很重要。 Gateway 网关 RPC 要求 operator.write。该工具只能更改呈现 状态:它无法读取像素、截取屏幕截图、点击任意页面 内容,也无法绕过所选会话和操作员 面板的权限。

相关内容