QA overview

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

• extensions/qa-channel：合成消息渠道，包含私信、渠道、线程、回应、编辑和删除表面。
• extensions/qa-lab：调试器 UI 和 QA 总线，用于观察转录、注入入站消息，并导出 Markdown 报告。
• extensions/qa-matrix、未来的运行器插件：实时传输适配器，在子 QA Gateway 网关内驱动真实渠道。
• qa/：由仓库支持的种子资产，用于启动任务和基线 QA 场景。
• Mantis：针对需要真实传输、浏览器截图、VM 状态和 PR 证据的 bug，进行修复前和修复后的实时验证。

​

命令表面

​

操作员流程

• 左侧：带有智能体的 Gateway 网关仪表板（Control UI）。
• 右侧：QA Lab，显示类似 Slack 的转录和场景计划。

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm openclaw qa matrix --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.4

pnpm openclaw qa credentials doctor

​

实时传输覆盖范围

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Telegram、Discord 和 Slack QA 参考

​

共享 CLI 标志

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - 数字 chat id（字符串）。
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1 会在观察消息构件中保留消息正文（默认会遮蔽）。

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• telegram-qa-summary.json - 从金丝雀开始，包含每条回复的 RTT（driver 发送 → 观察到 SUT 回复）。
• telegram-qa-observed-messages.json - 除非设置 OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1，否则正文会被遮蔽。

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - 必须匹配 Discord 返回的 SUT 机器人用户 ID（否则该通道会快速失败）。

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 会在观测消息产物中保留消息正文。
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID 为 discord-voice-autojoin 选择语音/舞台频道；如果未设置，场景会为 SUT 机器人选择第一个可见的语音/舞台频道。

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - 需要显式启用的语音场景。单独运行，启用 channels.discord.voice.autoJoin，并验证 SUT 机器人当前的 Discord 语音状态是目标语音/舞台频道。Convex Discord 凭证可以包含可选的 voiceChannelId；否则运行器会发现服务器中第一个可见的语音/舞台频道。
• discord-status-reactions-tool-only - 需要显式启用的 Mantis 场景。它会单独运行，因为它会把 SUT 切换为始终在线、仅工具的服务器回复模式，并设置 messages.statusReactions.enabled=true，然后捕获 REST 反应时间线以及 HTML/PNG 可视产物。Mantis 前后对比报告还会把场景提供的 MP4 产物保留为 baseline.mp4 和 candidate.mp4。

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast

• discord-qa-report.md
• discord-qa-summary.json
• discord-qa-observed-messages.json - 正文会被遮盖，除非设置了 OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1。
• 运行状态反应场景时会生成 discord-qa-reaction-timelines.json 和 discord-status-reactions-tool-only-timeline.png。

​

Slack QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 会在观测消息产物中保留消息正文。

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation

• slack-qa-report.md
• slack-qa-summary.json
• slack-qa-observed-messages.json - 正文会被遮盖，除非设置了 OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1。

​

设置 Slack 工作区

• channelId - 两个机器人都已受邀加入的渠道的 Cxxxxxxxxxx ID。请使用专用渠道；该通道每次运行都会发帖。
• driverBotToken - Driver 应用的机器人令牌（xoxb-...）。
• sutBotToken - SUT 应用的机器人令牌（xoxb-...），它必须是与驱动机器人不同的独立 Slack 应用，这样它的机器人用户 ID 才不同。
• sutAppToken - SUT 应用的应用级令牌（xapp-...），带有 connections:write，供 Socket Mode 使用，以便 SUT 应用可以接收事件。

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → 复制 Bot User OAuth Token → 它会成为 sutBotToken。
• Basic Information → App-Level Tokens → Generate Token and Scopes → 添加作用域 connections:write → 保存 → 复制 xapp-... 值 → 它会成为 sutAppToken。

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

Convex 凭证池

• Telegram（kind: "telegram"）：{ groupId: string, driverToken: string, sutToken: string } - groupId 必须是数字聊天 ID 字符串。
• Telegram 真实用户（kind: "telegram-user"）：{ groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - 一个独占的一次性账号租约，同时供 TDLib CLI 驱动和 Telegram Desktop 可视见证使用。
• Discord（kind: "discord"）：{ guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }。
• WhatsApp（kind: "whatsapp"）：{ driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - 电话号码必须是不同的 E.164 字符串。

pnpm qa:telegram-user:crabbox -- start --tdlib-url http://artifacts.openclaw.ai/tdlib-v1.8.0-linux-x64.tgz --output-dir .artifacts/qa-e2e/telegram-user-crabbox/pr-review
pnpm qa:telegram-user:crabbox -- send --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json --text /status
pnpm qa:telegram-user:crabbox -- finish --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json

​

repo 支持的 seeds

• qa/scenarios/index.md
• qa/scenarios/<theme>/*.md

• 场景元数据
• 可选的 category、capability、lane 和 risk 元数据
• 文档和代码引用
• 可选的插件要求
• 可选的 Gateway 网关配置 patch
• 可执行的 qa-flow

• 私信和渠道聊天
• thread 行为
• 消息操作生命周期
• cron 回调
• 记忆召回
• 模型切换
• subagent handoff
• repo 阅读和文档阅读
• 一个小型构建任务，例如 Lobster Invaders

​

提供商 mock lane

• mock-openai 是场景感知的 OpenClaw mock。它仍然是 repo 支持的 QA 和 parity gate 的默认确定性 mock lane。
• aimock 会启动一个由 AIMock 支持的提供商服务器，用于实验性协议、fixture、录制/重放和 chaos 覆盖。它是增量补充，不会取代 mock-openai 场景 dispatcher。

​

传输适配器

• qa-lab 负责通用场景执行、worker 并发、artifact 写入和报告。
• 传输适配器负责 Gateway 网关配置、readiness、入站和出站观测、传输操作，以及标准化传输状态。
• qa/scenarios/ 下的 markdown 场景文件定义测试运行；qa-lab 提供执行它们的可复用运行时 surface。

​

添加一个渠道

1. 该渠道的传输适配器。
2. 覆盖该渠道契约的场景包。

• openclaw qa command root
• suite 启动和 teardown
• worker 并发
• artifact 写入
• 报告生成
• 场景执行
• 旧版 qa-channel 场景的兼容别名

• openclaw qa <runner> 如何挂载到共享 qa root 下
• 如何为该传输配置 Gateway 网关
• 如何检查 readiness
• 如何注入入站事件
• 如何观测出站消息
• 如何暴露 transcript 和标准化传输状态
• 如何执行传输支持的操作
• 如何处理传输专用 reset 或 cleanup

1. 让 qa-lab 继续作为共享 qa root 的 owner。
2. 在共享 qa-lab host seam 上实现传输 runner。
3. 将传输专用机制保留在 runner 插件或渠道 harness 内。
4. 将 runner 挂载为 openclaw qa <runner>，而不是注册一个竞争性的 root command。Runner 插件应在 openclaw.plugin.json 中声明 qaRunners，并从 runtime-api.ts 导出匹配的 qaRunnerCliRegistrations 数组。保持 runtime-api.ts 轻量；惰性 CLI 和 runner 执行应留在独立入口点后面。
5. 在按主题组织的 qa/scenarios/ 目录下编写或改造 markdown 场景。
6. 为新场景使用通用场景 helper。
7. 除非 repo 正在进行有意迁移，否则保持现有兼容别名可用。

• 如果行为可以在 qa-lab 中表达一次，就放到 qa-lab 中。
• 如果行为依赖某一个渠道传输，就保留在该 runner 插件或插件 harness 中。
• 如果一个场景需要多个渠道都能使用的新能力，请添加通用 helper，而不是在 suite.ts 中添加渠道专用分支。
• 如果某个行为只对一个传输有意义，请让场景保持传输专用，并在场景契约中明确说明。

​

场景 helper 名称

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

报告

• 哪些有效
• 哪些失败
• 哪些仍被阻塞
• 哪些后续场景值得添加

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-6,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-6,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

相关文档

• Matrix QA
• QA Channel
• 测试
• 仪表板