QA 概要

• extensions/qa-channel: DM、チャンネル、スレッド、リアクション、編集、削除のサーフェスを持つ合成メッセージチャンネル。
• extensions/qa-lab: トランスクリプトの観測、受信メッセージの注入、Markdown レポートのエクスポートを行うためのデバッガー UI と QA バス。
• extensions/qa-matrix: 子 QA Gateway 内で実際の Matrix Plugin を駆動するライブトランスポートアダプター。
• qa/: キックオフタスクとベースライン QA シナリオ用の、リポジトリに裏付けられたシードアセット。
• Mantis: 実トランスポート、ブラウザーのスクリーンショット、VM 状態、PR 証拠が必要なバグのための修正前後のライブ検証。

​

コマンドサーフェス

​

プロファイルに裏付けられた qa run

pnpm openclaw qa run \
  --qa-profile smoke-ci \
  --category channel-framework.conversation-routing-and-delivery \
  --provider-mode mock-openai \
  --output-dir .artifacts/qa-e2e/smoke-ci-profile-dispatch

pnpm openclaw --profile work qa run --qa-profile smoke-ci

​

オペレーターフロー

• 左: エージェントを持つ Gateway ダッシュボード（Control UI）。
• 右: Slack 風のトランスクリプトとシナリオ計画を表示する QA Lab。

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

​

オブザーバビリティスモーク

​

Matrix スモークレーン

OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode mock-openai --profile fast --fail-fast

OPENCLAW_LIVE_OPENAI_KEY="${OPENAI_API_KEY}" \
OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode live-frontier --profile fast --fail-fast

​

Discord Mantis シナリオ

pnpm openclaw qa discord
pnpm openclaw qa slack
pnpm openclaw qa telegram
pnpm openclaw qa whatsapp

​

Mantis Slack デスクトップおよびビジュアルタスクランナー

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis slack-desktop-smoke \
  --approval-checkpoints \
  --credential-source convex \
  --credential-role maintainer

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.5

​

認証情報プールのヘルスチェック

pnpm openclaw qa credentials doctor

​

ライブトランスポートカバレッジ

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Discord、Slack、Telegram、WhatsApp QA リファレンス

​

共有 CLI フラグ

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - 数値の chat id (文字列)。
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-tool-only-usage-footer
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• qa-evidence.json - プロファイル、カバレッジ、プロバイダー、チャンネル、成果物、 結果、RTT フィールドを含む、ライブトランスポートチェックの証拠エントリ。

OPENCLAW_QA_CREDENTIAL_SOURCE=convex \
pnpm test:docker:npm-telegram-live

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - Discord から返される SUT bot ユーザー id と 一致している必要があります (一致しない場合、レーンは即座に失敗します)。

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 は、観測メッセージ成果物にメッセージ本文を 保持します。
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID は、discord-voice-autojoin 用の ボイス/ステージチャンネルを選択します。指定しない場合、シナリオは SUT bot に見える最初の ボイス/ステージチャンネルを選びます。

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - オプトインの音声シナリオです。単独で実行され、 channels.discord.voice.autoJoin を有効にし、SUT bot の現在の Discord 音声状態が 対象のボイス/ステージチャンネルであることを検証します。Convex Discord 認証情報には任意の voiceChannelId を含められます。含まれない場合、ランナーは guild 内で最初に見える ボイス/ステージチャンネルを検出します。
• discord-status-reactions-tool-only - オプトインの Mantis シナリオです。SUT を messages.statusReactions.enabled=true の常時オン、tool-only guild 返信に切り替えるため 単独で実行され、その後 REST リアクションタイムラインと HTML/PNG 視覚成果物を取得します。 Mantis の before/after レポートは、シナリオが提供する MP4 成果物も baseline.mp4 と candidate.mp4 として保持します。
• discord-thread-reply-filepath-attachment - オプトインの Mantis シナリオです。 Discord Mantis シナリオを参照してください。

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.5 \
  --alt-model openai/gpt-5.5 \
  --fast

• discord-qa-report.md
• qa-evidence.json - ライブトランスポートチェックの証拠エントリ。
• discord-qa-observed-messages.json - OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 でない限り、本文は編集されます。
• ステータスリアクションのシナリオが実行されるときの discord-qa-reaction-timelines.json と discord-status-reactions-tool-only-timeline.png。

​

Slack QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 は、観測メッセージのアーティファクトにメッセージ本文を保持します。
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR は、Mantis 用の視覚的な承認チェックポイントを有効にします。ランナーは <scenario>.pending.json と <scenario>.resolved.json を書き込み、一致する .ack.json ファイルを待ちます。
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_TIMEOUT_MS は、チェックポイント確認のタイムアウトを上書きします。デフォルトは 120000 です。

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation
• slack-approval-exec-native - オプトインのネイティブ Slack exec 承認シナリオ。Gateway を通じて exec 承認を要求し、Slack メッセージにネイティブ承認ボタンがあることを検証し、それを解決して、解決済み Slack 更新を検証します。
• slack-approval-plugin-native - オプトインのネイティブ Slack Plugin 承認シナリオ。exec と Plugin 承認の転送を一緒に有効にし、Plugin イベントが exec 承認ルーティングで抑制されないようにしてから、同じ保留中/解決済みのネイティブ Slack UI パスを検証します。

• slack-qa-report.md
• qa-evidence.json - ライブトランスポートチェックの証拠エントリ。
• slack-qa-observed-messages.json - OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 でない限り、本文は編集されます。
• approval-checkpoints/ - Mantis が OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR を設定した場合のみ。チェックポイント JSON、確認 JSON、保留中/解決済みのスクリーンショットを含みます。

​

Slack ワークスペースのセットアップ

• channelId - 両方のボットが招待されているチャンネルの Cxxxxxxxxxx id。専用チャンネルを使用してください。このレーンは実行のたびに投稿します。
• driverBotToken - Driver アプリのボットトークン (xoxb-...)。
• sutBotToken - SUT アプリのボットトークン (xoxb-...)。ボットユーザー id を別にするため、ドライバーとは別の Slack アプリである必要があります。
• sutAppToken - SUT アプリのアプリレベルトークン (xapp-...)。connections:write を持ち、SUT アプリがイベントを受信できるように Socket Mode で使われます。

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → Bot User OAuth Token をコピー → これが sutBotToken になります。
• Basic Information → App-Level Tokens → Generate Token and Scopes → スコープ connections:write を追加 → 保存 → xapp-... の値をコピー → これが sutAppToken になります。

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

WhatsApp QA

pnpm openclaw qa whatsapp

• OPENCLAW_QA_WHATSAPP_DRIVER_PHONE_E164
• OPENCLAW_QA_WHATSAPP_SUT_PHONE_E164
• OPENCLAW_QA_WHATSAPP_DRIVER_AUTH_ARCHIVE_BASE64
• OPENCLAW_QA_WHATSAPP_SUT_AUTH_ARCHIVE_BASE64

• OPENCLAW_QA_WHATSAPP_GROUP_JID は、whatsapp-mention-gating、whatsapp-group-pending-history-context、whatsapp-broadcast-group-fanout、whatsapp-group-activation-always、whatsapp-group-reply-to-bot-triggers、グループアクション/メディア/ポールのシナリオ、whatsapp-group-allowlist-block などのグループシナリオを有効にします。
• OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1 は、観測メッセージのアーティファクトにメッセージ本文を保持します。

• ベースラインとグループのゲート制御: whatsapp-canary, whatsapp-pairing-block, whatsapp-mention-gating, whatsapp-group-pending-history-context, whatsapp-group-activation-always, whatsapp-group-reply-to-bot-triggers, whatsapp-top-level-reply-shape, whatsapp-restart-resume, whatsapp-group-allowlist-block.
• ネイティブコマンド: whatsapp-help-command, whatsapp-status-command, whatsapp-commands-command, whatsapp-tools-compact-command, whatsapp-whoami-command, whatsapp-context-command, whatsapp-native-new-command.
• 返信と最終出力の動作: whatsapp-tool-only-usage-footer, whatsapp-reply-to-message, whatsapp-group-reply-to-message, whatsapp-reply-to-mode-batched, whatsapp-reply-context-isolation, whatsapp-reply-delivery-shape, whatsapp-stream-final-message-accounting.
• ユーザーパスのメッセージアクション: whatsapp-agent-message-action-react は 実際のドライバー DM から開始し、モデルに message ツールを呼び出させ、 ネイティブの WhatsApp リアクションを観測します。whatsapp-agent-message-action-upload-file は message(action=upload-file) に同じ姿勢を使い、 ネイティブ WhatsApp メディアを観測します。whatsapp-group-agent-message-action-react と whatsapp-group-agent-message-action-upload-file は、実際の WhatsApp グループで 同じユーザー可視アクションを証明します。
• グループファンアウト: whatsapp-broadcast-group-fanout は 1 件のメンション付き WhatsApp グループメッセージから開始し、main と qa-second からの 個別の可視返信を検証します。
• グループ有効化: whatsapp-group-activation-always は実際のグループ セッションを /activation always に変更し、メンションされていないグループメッセージで エージェントが起動することを証明してから、/activation mention に戻します。 whatsapp-group-reply-to-bot-triggers はボット返信をシードし、明示的なメンションなしで それに対するネイティブの引用返信を送信し、その返信コンテキストからエージェントが 起動することを検証します。
• インバウンドメディアと構造化メッセージ: whatsapp-inbound-image-caption, whatsapp-audio-preflight, whatsapp-inbound-structured-messages, whatsapp-group-audio-gating, whatsapp-inbound-reaction-no-trigger. これらは実際の WhatsApp 画像、音声、ドキュメント、位置情報、連絡先、 ステッカー、リアクションイベントをドライバー経由で送信します。
• 直接 Gateway コントラクトプローブ: whatsapp-outbound-media-matrix, whatsapp-outbound-document-preserves-filename, whatsapp-outbound-poll, whatsapp-outbound-send-serialization, whatsapp-group-outbound-media, whatsapp-group-outbound-poll, whatsapp-message-actions, whatsapp-reply-context-isolation, whatsapp-reply-delivery-shape. これらは意図的にモデルプロンプトをバイパスし、 決定論的な Gateway/チャネルの send、poll、および message.action コントラクトを証明します。
• アクセス制御カバレッジ: whatsapp-access-control-dm-open, whatsapp-access-control-dm-disabled, whatsapp-access-control-group-open, whatsapp-access-control-group-disabled, whatsapp-group-allowlist-block.
• ネイティブ承認: whatsapp-approval-exec-deny-native, whatsapp-approval-exec-native, whatsapp-approval-exec-reaction-native, whatsapp-approval-exec-group-reaction-native, whatsapp-approval-plugin-native.
• ステータスリアクション: whatsapp-status-reactions, whatsapp-status-reaction-lifecycle.

• whatsapp-qa-report.md
• qa-evidence.json - ライブトランスポートチェックの証拠エントリ。
• whatsapp-qa-observed-messages.json - OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1 でない限り本文は編集されます。

​

Convex 認証情報プール

• Discord (kind: "discord"): { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }.
• Telegram (kind: "telegram"): { groupId: string, driverToken: string, sutToken: string } - groupId は数値のチャット ID 文字列である必要があります。
• Telegram 実ユーザー (kind: "telegram-user"): { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - Mantis Telegram Desktop 証明専用です。汎用 QA Lab レーンはこの種別を取得してはいけません。
• WhatsApp (kind: "whatsapp"): { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - 電話番号は異なる E.164 文字列である必要があります。

​

リポジトリ由来のシード

• qa/scenarios/index.yaml
• qa/scenarios/<theme>/*.yaml

• トップレベルの title
• scenario メタデータ
• scenario 内の任意のカテゴリ、機能、レーン、リスクメタデータ
• scenario 内の docs とコード参照
• scenario 内の任意の Plugin 要件
• scenario 内の任意の Gateway 設定パッチ
• フローシナリオ用の実行可能なトップレベル flow、または Vitest と Playwright シナリオ用の scenario.execution.kind / scenario.execution.path

• DM とチャネルチャット
• スレッド動作
• メッセージアクションのライフサイクル
• cron コールバック
• メモリ想起
• モデル切り替え
• サブエージェントへの引き継ぎ
• リポジトリ読み取りと docs 読み取り
• Lobster Invaders のような小さなビルドタスク 1 件

​

プロバイダーモックレーン

• mock-openai はシナリオ対応の OpenClaw モックです。リポジトリ由来 QA とパリティゲート向けの デフォルトの決定論的モックレーンのままです。
• aimock は、実験的なプロトコル、フィクスチャ、record/replay、カオスカバレッジのために AIMock 由来のプロバイダーサーバーを開始します。これは追加的なものであり、 mock-openai シナリオディスパッチャーを置き換えません。

​

トランスポートアダプター

• qa-lab は、汎用シナリオ実行、ワーカー並行性、アーティファクト書き込み、 レポート作成を所有します。
• トランスポートアダプターは、Gateway 設定、readiness、インバウンドとアウトバウンドの観測、 トランスポートアクション、正規化されたトランスポート状態を所有します。
• qa/scenarios/ 配下の YAML シナリオファイルはテスト実行を定義し、qa-lab は それらを実行する再利用可能なランタイムサーフェスを提供します。

​

チャネルの追加

• openclaw qa コマンドルート
• スイートの起動と終了処理
• ワーカー並行性
• アーティファクト書き込み
• レポート生成
• シナリオ実行
• 古い qa-channel シナリオ向けの互換エイリアス

• 共有 qa ルートの下に openclaw qa <runner> をマウントする方法
• そのトランスポート向けに Gateway を設定する方法
• readiness の確認方法
• インバウンドイベントの注入方法
• アウトバウンドメッセージの観測方法
• トランスクリプトと正規化されたトランスポート状態の公開方法
• トランスポート由来アクションの実行方法
• トランスポート固有のリセットまたはクリーンアップの処理方法

1. 共有 qa ルートの所有者は qa-lab のままにします。
2. 共有 qa-lab ホストシーム上にトランスポートランナーを実装します。
3. トランスポート固有の仕組みは、ランナー Plugin またはチャネルハーネス内に保持します。
4. 競合するルートコマンドを登録するのではなく、ランナーを openclaw qa <runner> としてマウントします。ランナー Plugin は openclaw.plugin.json で qaRunners を宣言し、runtime-api.ts から対応する qaRunnerCliRegistrations 配列をエクスポートする必要があります。runtime-api.ts は軽量に保ち、遅延 CLI とランナー実行は別々のエントリーポイントの背後に置く必要があります。
5. テーマ別の qa/scenarios/ ディレクトリ配下で YAML シナリオを作成または適合させます。
6. 新しいシナリオには汎用シナリオヘルパーを使用します。
7. リポジトリが意図的な移行を行っている場合を除き、既存の互換エイリアスが動作し続けるようにします。

• 振る舞いを qa-lab で一度だけ表現できる場合は、qa-lab に置きます。
• 振る舞いが単一のチャネルトランスポートに依存する場合は、そのランナー Plugin または Plugin ハーネス内に保持します。
• シナリオが複数のチャネルで利用できる新しい機能を必要とする場合は、suite.ts にチャネル固有の分岐を追加するのではなく、汎用ヘルパーを追加します。
• 振る舞いが単一のトランスポートでのみ意味を持つ場合は、シナリオをトランスポート固有のままにし、そのことをシナリオ契約で明示します。

​

シナリオヘルパー名

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

レポート

• 何が動作したか
• 何が失敗したか
• 何がブロックされたままだったか
• どのフォローアップシナリオを追加する価値があるか

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-8,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-8,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

関連ドキュメント

• Matrix QA
• 成熟度スコアカード
• パーソナルエージェントベンチマークパック
• QA チャネル
• テスト
• ダッシュボード