QA の概要

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

• extensions/qa-channel: DM、チャネル、スレッド、リアクション、 編集、削除のサーフェスを備えた合成メッセージチャネル。
• extensions/qa-lab: トランスクリプトの観察、受信メッセージの注入、 Markdown レポートのエクスポートを行うためのデバッガー UI と QA バス。
• extensions/qa-matrix、将来の runner plugins: 子 QA gateway 内で 実チャネルを駆動するライブトランスポートアダプター。
• qa/: キックオフタスクとベースライン QA シナリオ用の、 リポジトリ管理されたシードアセット。
• Mantis: 実トランスポート、ブラウザーのスクリーンショット、 VM 状態、PR 証拠を必要とするバグのための、修正前後のライブ検証。

​

コマンドサーフェス

​

オペレーターフロー

• 左: エージェントを含む Gateway ダッシュボード（Control UI）。
• 右: QA Lab。Slack 風のトランスクリプトとシナリオプランを表示します。

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm openclaw qa matrix --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.4

pnpm openclaw qa credentials doctor

​

ライブトランスポートカバレッジ

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Telegram、Discord、Slack QA リファレンス

​

共有 CLI フラグ

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - 数値のチャット ID（文字列）。
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1 は、観測メッセージアーティファクトにメッセージ本文を保持します（デフォルトでは秘匿）。

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• telegram-qa-summary.json - canary から始まる返信ごとの RTT（ドライバー送信 → 観測された SUT 返信）を含みます。
• telegram-qa-observed-messages.json - OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1 でない限り本文は秘匿されます。

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - Discord から返される SUT ボットユーザー ID と一致する必要があります（一致しない場合、そのレーンは即座に失敗します）。

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 は、観測メッセージのアーティファクトにメッセージ本文を保持します。
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID は discord-voice-autojoin 用のボイス/ステージチャンネルを選択します。指定しない場合、シナリオは SUT ボットから見える最初のボイス/ステージチャンネルを選びます。

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - オプトインのボイスシナリオです。単独で実行され、channels.discord.voice.autoJoin を有効にし、SUT ボットの現在の Discord ボイス状態が対象のボイス/ステージチャンネルであることを検証します。Convex Discord 認証情報には任意の voiceChannelId を含められます。含まれない場合、ランナーはギルド内で見える最初のボイス/ステージチャンネルを検出します。
• discord-status-reactions-tool-only - オプトインの Mantis シナリオです。SUT を、messages.statusReactions.enabled=true を使った常時オン、ツール専用のギルド返信に切り替えるため、単独で実行されます。その後、REST リアクションのタイムラインと HTML/PNG の視覚アーティファクトを取得します。Mantis の前後レポートも、シナリオから提供された MP4 アーティファクトを baseline.mp4 と candidate.mp4 として保持します。

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast

• discord-qa-report.md
• discord-qa-summary.json
• discord-qa-observed-messages.json - OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 でない限り、本文はリダクションされます。
• ステータスリアクションシナリオが実行された場合は、discord-qa-reaction-timelines.json と discord-status-reactions-tool-only-timeline.png。

​

Slack QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 は、観測メッセージのアーティファクトにメッセージ本文を保持します。

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation

• slack-qa-report.md
• slack-qa-summary.json
• slack-qa-observed-messages.json - OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 でない限り、本文はリダクションされます。

​

Slack ワークスペースのセットアップ

• channelId - 両方のボットが招待されているチャンネルの Cxxxxxxxxxx ID。専用チャンネルを使用してください。このレーンは実行ごとに投稿します。
• driverBotToken - Driver アプリのボットトークン（xoxb-...）。
• sutBotToken - SUT アプリのボットトークン（xoxb-...）。ボットユーザー ID が異なるように、ドライバーとは別の Slack アプリである必要があります。
• sutAppToken - connections:write を持つ SUT アプリのアプリレベルトークン（xapp-...）。Socket Mode が SUT アプリでイベントを受信できるようにするために使われます。

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → Bot User OAuth Token をコピー → これが sutBotToken になります。
• Basic Information → App-Level Tokens → Generate Token and Scopes → スコープ connections:write を追加 → 保存 → xapp-... の値をコピー → これが sutAppToken になります。

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

Convex 認証情報プール

• Telegram（kind: "telegram"）: { groupId: string, driverToken: string, sutToken: string } - groupId は数値のチャット ID 文字列である必要があります。
• Telegram 実ユーザー（kind: "telegram-user"）: { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - TDLib CLI ドライバーと Telegram Desktop の視覚証人の両方で使われる、1 つの排他的なバーナーアカウントリースです。
• Discord（kind: "discord"）: { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }。
• WhatsApp（kind: "whatsapp"）: { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - 電話番号は異なる E.164 文字列である必要があります。

pnpm qa:telegram-user:crabbox -- start --tdlib-url http://artifacts.openclaw.ai/tdlib-v1.8.0-linux-x64.tgz --output-dir .artifacts/qa-e2e/telegram-user-crabbox/pr-review
pnpm qa:telegram-user:crabbox -- send --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json --text /status
pnpm qa:telegram-user:crabbox -- finish --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json

​

リポジトリに裏付けられたシード

• qa/scenarios/index.md
• qa/scenarios/<theme>/*.md

• シナリオメタデータ
• 任意のカテゴリ、ケイパビリティ、レーン、リスクのメタデータ
• docs とコード参照
• 任意の Plugin 要件
• 任意の Gateway 設定パッチ
• 実行可能な qa-flow

• DM とチャンネルチャット
• スレッドの挙動
• メッセージアクションのライフサイクル
• cron コールバック
• メモリー呼び出し
• モデル切り替え
• サブエージェントのハンドオフ
• リポジトリ読み取りと docs 読み取り
• Lobster Invaders のような小さなビルドタスク 1 つ

​

プロバイダーモックレーン

• mock-openai はシナリオ対応の OpenClaw モックです。リポジトリに裏付けられた QA とパリティゲートのためのデフォルトの決定的モックレーンのままです。
• aimock は、実験的なプロトコル、フィクスチャ、記録/再生、カオスカバレッジのために AIMock ベースのプロバイダーサーバーを起動します。これは追加のものであり、mock-openai シナリオディスパッチャーを置き換えるものではありません。

​

トランスポートアダプター

• qa-lab は汎用シナリオ実行、ワーカー同時実行、アーティファクト書き込み、レポート作成を所有します。
• トランスポートアダプターは Gateway 設定、準備完了状態、インバウンドおよびアウトバウンドの観測、トランスポートアクション、正規化されたトランスポート状態を所有します。
• qa/scenarios/ 配下の Markdown シナリオファイルがテスト実行を定義し、qa-lab がそれらを実行する再利用可能なランタイムサーフェスを提供します。

​

チャンネルを追加する

1. チャンネル用のトランスポートアダプター。
2. チャンネル契約を実行するシナリオパック。

• openclaw qa コマンドルート
• suite の起動と終了処理
• ワーカー同時実行
• アーティファクト書き込み
• レポート生成
• シナリオ実行
• 古い qa-channel シナリオ向けの互換エイリアス

• openclaw qa <runner> を共有 qa ルート配下にマウントする方法
• そのトランスポート向けに Gateway を設定する方法
• 準備完了状態をチェックする方法
• インバウンドイベントを注入する方法
• アウトバウンドメッセージを観測する方法
• トランスクリプトと正規化されたトランスポート状態を公開する方法
• トランスポートに裏付けられたアクションを実行する方法
• トランスポート固有のリセットまたはクリーンアップを処理する方法

1. 共有 qa ルートの所有者として qa-lab を維持する。
2. 共有 qa-lab ホスト seam 上にトランスポートランナーを実装する。
3. トランスポート固有の仕組みはランナー Plugin またはチャンネルハーネス内に保つ。
4. 競合するルートコマンドを登録する代わりに、ランナーを openclaw qa <runner> としてマウントする。ランナー Plugin は openclaw.plugin.json で qaRunners を宣言し、runtime-api.ts から対応する qaRunnerCliRegistrations 配列をエクスポートする必要があります。runtime-api.ts は軽量に保ってください。遅延 CLI とランナー実行は、別々のエントリポイントの背後に置く必要があります。
5. テーマ別の qa/scenarios/ ディレクトリ配下で Markdown シナリオを作成または適応する。
6. 新しいシナリオには汎用シナリオヘルパーを使用する。
7. リポジトリが意図的な移行を行っている場合を除き、既存の互換エイリアスを動作させ続ける。

• 挙動を qa-lab に一度だけ表現できる場合は、qa-lab に置く。
• 挙動が 1 つのチャンネルトランスポートに依存する場合は、そのランナー Plugin または Plugin ハーネスに保つ。
• シナリオに複数のチャンネルで使える新しいケイパビリティが必要な場合は、suite.ts にチャンネル固有の分岐を追加する代わりに、汎用ヘルパーを追加する。
• 挙動が 1 つのトランスポートでのみ意味を持つ場合は、シナリオをトランスポート固有に保ち、そのことをシナリオ契約で明示する。

​

シナリオヘルパー名

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

レポート

• 何が機能したか
• 何が失敗したか
• 何がブロックされたままか
• 追加する価値のあるフォローアップシナリオは何か

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-6,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-6,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

関連 docs

• Matrix QA
• QA チャンネル
• テスト
• ダッシュボード