screen ツールを使用すると、エージェントはブラウザベースの Control UI を配置できます。これは型付きのレイアウトおよびナビゲーションサーフェスであり、スクリーンショットの取得やブラウザの自動操作を行うものではありません。
このツールは、接続元のクライアントが ui-commands ケイパビリティを通知している場合にのみ公開されます。ツールの実行時にも、対応する Control UI が少なくとも 1 つ接続されている必要があります。それ以外の場合、Gateway は UNAVAILABLE を返します。
アクション
コマンドが成功すると、Gateway が型付きの
ui.command イベントをブロードキャストした後、{ "ok": true } が返されます。
ルーティングとセキュリティ
プロトコル v1 では、意図的にui-commands を通知する接続済みのすべての Control UI にコマンドを送信します。特定のブラウザタブを対象にすることはありません。これは、同じオペレーターが複数のダッシュボードを開いている場合に重要です。
Gateway RPC には operator.write が必要です。このツールで変更できるのは表示状態のみです。ピクセルの読み取り、スクリーンショットの取得、ページ上の任意のコンテンツのクリック、選択したセッションおよびオペレーターパネルの権限の回避はできません。