QA 概覽

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

• extensions/qa-channel：合成訊息通道，包含 DM、頻道、討論串、反應、編輯與刪除介面。
• extensions/qa-lab：偵錯工具 UI 與 QA 匯流排，用於觀察逐字稿、注入傳入訊息，以及匯出 Markdown 報告。
• extensions/qa-matrix、未來的執行器 plugins：即時傳輸配接器，會在子 QA gateway 內驅動真實通道。
• qa/：由 repo 支援的起始任務種子資產與基準 QA 情境。
• Mantis：針對需要真實傳輸、瀏覽器螢幕截圖、VM 狀態與 PR 證據的 bug，進行修正前與修正後的即時驗證。

​

命令介面

​

操作者流程

• 左側：含 agent 的 Gateway 儀表板（Control UI）。
• 右側：QA Lab，顯示類 Slack 的逐字稿與情境計畫。

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm openclaw qa matrix --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.4

pnpm openclaw qa credentials doctor

​

即時傳輸涵蓋範圍

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Telegram、Discord 與 Slack QA 參考

​

共用 CLI 旗標

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - 數字聊天 ID（字串）。
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1 會在觀察訊息成品中保留訊息本文（預設會遮蔽）。

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• telegram-qa-summary.json - 包含從 canary 開始的每次回覆 RTT（driver 傳送 → 觀察到 SUT 回覆）。
• telegram-qa-observed-messages.json - 除非設定 OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1，否則本文會被遮蔽。

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - 必須符合 Discord 傳回的 SUT 機器人使用者 ID（否則該通道會快速失敗）。

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 會在觀察到的訊息成品中保留訊息本文。
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID 會為 discord-voice-autojoin 選取語音/舞台通道；若未設定，情境會為 SUT 機器人選取第一個可見的語音/舞台通道。

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - 選用的語音情境。會單獨執行，啟用 channels.discord.voice.autoJoin，並驗證 SUT 機器人目前的 Discord 語音狀態是目標語音/舞台通道。Convex Discord 認證可包含選用的 voiceChannelId；否則執行器會在公會中探索第一個可見的語音/舞台通道。
• discord-status-reactions-tool-only - 選用的 Mantis 情境。會單獨執行，因為它會將 SUT 切換為永遠開啟、僅工具的公會回覆，並設定 messages.statusReactions.enabled=true，接著擷取 REST 反應時間軸以及 HTML/PNG 視覺成品。Mantis 前後比較報告也會將情境提供的 MP4 成品保留為 baseline.mp4 和 candidate.mp4。

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast

• discord-qa-report.md
• discord-qa-summary.json
• discord-qa-observed-messages.json - 除非設定 OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1，否則本文會被遮蔽。
• 狀態反應情境執行時，會產生 discord-qa-reaction-timelines.json 和 discord-status-reactions-tool-only-timeline.png。

​

Slack QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 會在觀察到的訊息成品中保留訊息本文。

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation

• slack-qa-report.md
• slack-qa-summary.json
• slack-qa-observed-messages.json - 除非設定 OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1，否則本文會被遮蔽。

​

設定 Slack 工作區

• channelId - 兩個機器人都已受邀加入之通道的 Cxxxxxxxxxx ID。請使用專用通道；此通道每次執行都會發文。
• driverBotToken - Driver 應用程式的機器人 Token（xoxb-...）。
• sutBotToken - SUT 應用程式的機器人 Token（xoxb-...），它必須是與 driver 不同的 Slack 應用程式，讓它的機器人使用者 ID 不同。
• sutAppToken - SUT 應用程式具備 connections:write 的應用程式層級 Token（xapp-...），由 Socket Mode 使用，讓 SUT 應用程式可以接收事件。

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• 安裝到工作區 → 複製 機器人使用者 OAuth Token → 這會成為 sutBotToken。
• 基本資訊 → 應用程式層級 Token → 產生 Token 和 scope → 加入 scope connections:write → 儲存 → 複製 xapp-... 值 → 這會成為 sutAppToken。

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

Convex 認證池

• Telegram（kind: "telegram"）：{ groupId: string, driverToken: string, sutToken: string } - groupId 必須是數字聊天 ID 字串。
• Telegram 真實使用者（kind: "telegram-user"）：{ groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - 由 TDLib CLI driver 和 Telegram Desktop 視覺見證者共同使用的一個獨占一次性帳號租用。
• Discord（kind: "discord"）：{ guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }。
• WhatsApp（kind: "whatsapp"）：{ driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - 電話號碼必須是不同的 E.164 字串。

pnpm qa:telegram-user:crabbox -- start --tdlib-url http://artifacts.openclaw.ai/tdlib-v1.8.0-linux-x64.tgz --output-dir .artifacts/qa-e2e/telegram-user-crabbox/pr-review
pnpm qa:telegram-user:crabbox -- send --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json --text /status
pnpm qa:telegram-user:crabbox -- finish --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json

​

由儲存庫支援的種子

• qa/scenarios/index.md
• qa/scenarios/<theme>/*.md

• 情境 metadata
• 選用的 category、capability、lane 與 risk metadata
• 文件與程式碼參照
• 選用的 Plugin 需求
• 選用的 Gateway 設定修補
• 可執行的 qa-flow

• 私訊與頻道聊天
• thread 行為
• 訊息動作生命週期
• Cron 回呼
• 記憶回想
• 模型切換
• subagent handoff
• 讀取儲存庫與讀取文件
• 一個小型建置任務，例如 Lobster Invaders

​

提供者模擬執行通道

• mock-openai 是具備情境感知的 OpenClaw mock。它仍然是由儲存庫支援的 QA 與 parity gate 的預設 確定性模擬執行通道。
• aimock 會啟動由 AIMock 支援的提供者伺服器，用於實驗性 protocol、 fixture、record/replay 與 chaos 覆蓋。它是加成項目，不會 取代 mock-openai 情境 dispatcher。

​

傳輸配接器

• qa-lab 擁有通用情境執行、worker concurrency、artifact 寫入與報告。
• 傳輸配接器擁有 Gateway 設定、readiness、inbound 與 outbound 觀測、傳輸動作，以及標準化傳輸狀態。
• qa/scenarios/ 底下的 Markdown 情境檔案定義測試執行；qa-lab 提供執行它們的可重用 runtime 介面。

​

新增頻道

1. 該頻道的傳輸配接器。
2. 驗證該頻道合約的情境套件。

• openclaw qa command root
• suite startup 與 teardown
• worker concurrency
• artifact 寫入
• 報告產生
• 情境執行
• 舊版 qa-channel 情境的相容性別名

• openclaw qa <runner> 如何掛載在共享的 qa root 底下
• Gateway 如何為該傳輸設定
• readiness 如何檢查
• inbound events 如何注入
• outbound messages 如何觀測
• transcripts 與標準化傳輸狀態如何公開
• transport-backed actions 如何執行
• transport-specific reset 或 cleanup 如何處理

1. 保持 qa-lab 作為共享 qa root 的擁有者。
2. 在共享的 qa-lab host seam 上實作 transport runner。
3. 將傳輸專用機制保留在 runner plugin 或 channel harness 內。
4. 將 runner 掛載為 openclaw qa <runner>，而不是註冊競爭的 root command。Runner plugins 應在 openclaw.plugin.json 中宣告 qaRunners，並從 runtime-api.ts 匯出相符的 qaRunnerCliRegistrations 陣列。保持 runtime-api.ts 輕量；lazy CLI 與 runner 執行應保留在個別 entrypoints 後方。
5. 在依主題分類的 qa/scenarios/ 目錄下撰寫或改寫 Markdown 情境。
6. 對新情境使用通用情境 helper。
7. 除非儲存庫正在進行有意的遷移，否則保持現有相容性別名可運作。

• 如果行為可以在 qa-lab 中表達一次，請放在 qa-lab。
• 如果行為取決於單一頻道傳輸，請保留在該 runner plugin 或 plugin harness 中。
• 如果情境需要多個頻道都可使用的新能力，請新增通用 helper，而不是在 suite.ts 中新增頻道專用分支。
• 如果行為只對單一傳輸有意義，請讓情境保持傳輸專用，並在情境合約中明確表示。

​

情境 helper 名稱

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

報告

• 哪些有效
• 哪些失敗
• 哪些仍被阻擋
• 哪些後續情境值得新增

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-6,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-6,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

相關文件

• Matrix QA
• QA Channel
• 測試
• Dashboard