QA overview

• extensions/qa-channel：合成消息渠道，包含私信、频道、线程、表情回应、编辑和删除表面。
• extensions/qa-lab：调试器 UI 和 QA 总线，用于观察转录、注入入站消息，并导出 Markdown 报告。
• extensions/qa-matrix：实时传输适配器，在子 QA Gateway 网关内驱动真实的 Matrix 插件。
• qa/：由仓库提供的启动任务种子资产和基线 QA 场景。
• Mantis：针对需要真实传输协议、浏览器截图、VM 状态和 PR 证据的错误，提供前后对比实时验证。

​

命令界面

​

由 profile 支持的 qa run

pnpm openclaw qa run \
  --qa-profile smoke-ci \
  --category channel-framework.conversation-routing-and-delivery \
  --provider-mode mock-openai \
  --output-dir .artifacts/qa-e2e/smoke-ci-profile-dispatch

pnpm openclaw --profile work qa run --qa-profile smoke-ci

​

操作员流程

• 左侧：带有智能体的 Gateway 网关 dashboard（Control UI）。
• 右侧：QA Lab，显示类似 Slack 的转录和场景计划。

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

​

可观测性 smoke

​

Matrix smoke 验证通道

OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode mock-openai --profile fast --fail-fast

OPENCLAW_LIVE_OPENAI_KEY="${OPENAI_API_KEY}" \
OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode live-frontier --profile fast --fail-fast

​

Discord Mantis 场景

pnpm openclaw qa discord
pnpm openclaw qa slack
pnpm openclaw qa telegram
pnpm openclaw qa whatsapp

​

Mantis Slack 桌面和视觉任务运行器

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis slack-desktop-smoke \
  --approval-checkpoints \
  --credential-source convex \
  --credential-role maintainer

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.5

​

凭据池健康检查

pnpm openclaw qa credentials doctor

​

Live transport 覆盖

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Discord、Slack、Telegram 和 WhatsApp QA 参考

​

共享 CLI 标志

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - 数字聊天 ID（字符串）。
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-tool-only-usage-footer
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• qa-evidence.json - 实时传输协议检查的证据条目， 包括 profile、coverage、provider、channel、artifacts、result 和 RTT 字段。

OPENCLAW_QA_CREDENTIAL_SOURCE=convex \
pnpm test:docker:npm-telegram-live

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - 必须匹配 Discord 返回的 SUT bot 用户 ID （否则该线路会快速失败）。

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 会在 observed-message artifacts 中保留消息正文。
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID 为 discord-voice-autojoin 选择语音/舞台频道；如果未设置，场景会为 SUT bot 选择第一个可见的 语音/舞台频道。

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - 选择加入的语音场景。单独运行， 启用 channels.discord.voice.autoJoin，并验证 SUT bot 当前的 Discord 语音状态是目标语音/舞台频道。Convex Discord 凭证可以包含可选的 voiceChannelId；否则 runner 会发现 guild 中第一个可见的语音/舞台频道。
• discord-status-reactions-tool-only - 选择加入的 Mantis 场景。它会 单独运行，因为它会将 SUT 切换为始终开启的、仅工具 guild 回复， 并设置 messages.statusReactions.enabled=true，然后捕获 REST 表情回应时间线以及 HTML/PNG 视觉 artifacts。Mantis 前/后 报告还会将场景提供的 MP4 artifacts 保留为 baseline.mp4 和 candidate.mp4。
• discord-thread-reply-filepath-attachment - 选择加入的 Mantis 场景；参见 Discord Mantis 场景。

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.5 \
  --alt-model openai/gpt-5.5 \
  --fast

• discord-qa-report.md
• qa-evidence.json - 实时传输检查的证据条目。
• discord-qa-observed-messages.json - 正文会被遮盖，除非设置 OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1。
• discord-qa-reaction-timelines.json 和 discord-status-reactions-tool-only-timeline.png，在状态表情回应场景运行时生成。

​

Slack QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 会在 observed-message 产物中保留消息正文。
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR 会为 Mantis 启用可视化审批检查点。运行器会写入 <scenario>.pending.json 和 <scenario>.resolved.json，然后等待匹配的 .ack.json 文件。
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_TIMEOUT_MS 会覆盖检查点确认超时。默认值是 120000。

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation
• slack-reaction-glyph-native - 选择启用的实时消息工具表情回应场景。指示智能体传入精确的 ✅ 字形，并确认 Slack 为目标消息上的 SUT Bot 存储了 white_check_mark。
• slack-approval-exec-native - 选择启用的原生 Slack Exec 审批场景。通过 Gateway 网关请求一次 Exec 审批，验证 Slack 消息包含原生审批按钮，完成审批，并验证已完成的 Slack 更新。
• slack-approval-plugin-native - 选择启用的原生 Slack 插件审批场景。同时启用 Exec 和插件审批转发，以便插件事件不会被 Exec 审批路由抑制，然后验证同一条待处理/已完成的原生 Slack UI 路径。
• slack-codex-approval-exec-native - 选择启用的 Codex Guardian 命令审批场景。在 Guardian 模式下启用 Codex 插件，将源自 Slack 的 Gateway 网关智能体轮次通过 Codex app-server harness 路由，等待 openclaw-codex-app-server 的原生 Slack 插件审批提示，完成审批，并验证 Codex 轮次以预期的命令输出和 Assistant 标记结束。
• slack-codex-approval-plugin-native - 选择启用的 Codex Guardian 文件审批场景。使用工作区外的 apply_patch 指令，使 Codex 发出 app-server 文件变更审批路由，然后在清理前验证同一条原生 Slack 待处理/已完成审批路径、最终 Assistant 标记和精确文件内容。

• slack-qa-report.md
• qa-evidence.json - 实时传输检查的证据条目。
• slack-qa-observed-messages.json - 正文会被遮盖，除非设置 OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1。
• approval-checkpoints/ - 仅在 Mantis 设置 OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR 时生成；包含检查点 JSON、确认 JSON，以及待处理/已完成截图。

​

设置 Slack 工作区

• channelId - 两个 Bot 都已受邀加入的频道的 Cxxxxxxxxxx ID。请使用专用频道；该通道每次运行都会发帖。
• driverBotToken - Driver 应用的 Bot Token（xoxb-...）。
• sutBotToken - SUT 应用的 Bot Token（xoxb-...），它必须是不同于 Driver 的单独 Slack 应用，以便其 Bot 用户 ID 不同。
• sutAppToken - SUT 应用的应用级 Token（xapp-...），带有 connections:write，供 Socket Mode 使用，以便 SUT 应用可以接收事件。

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → 复制 Bot User OAuth Token → 它会成为 sutBotToken。
• Basic Information → App-Level Tokens → Generate Token and Scopes → 添加 scope connections:write → 保存 → 复制 xapp-... 值 → 它会成为 sutAppToken。

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

WhatsApp QA

pnpm openclaw qa whatsapp

• OPENCLAW_QA_WHATSAPP_DRIVER_PHONE_E164
• OPENCLAW_QA_WHATSAPP_SUT_PHONE_E164
• OPENCLAW_QA_WHATSAPP_DRIVER_AUTH_ARCHIVE_BASE64
• OPENCLAW_QA_WHATSAPP_SUT_AUTH_ARCHIVE_BASE64

• OPENCLAW_QA_WHATSAPP_GROUP_JID 启用群组场景，例如 whatsapp-mention-gating、whatsapp-group-pending-history-context、 whatsapp-broadcast-group-fanout、whatsapp-group-activation-always、 whatsapp-group-reply-to-bot-triggers、群组动作/媒体/投票场景，以及 whatsapp-group-allowlist-block。
• OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1 会在 observed-message 产物中保留消息正文。

• 基线和群组门控：whatsapp-canary、whatsapp-pairing-block、 whatsapp-mention-gating、whatsapp-group-pending-history-context、 whatsapp-group-activation-always、whatsapp-group-reply-to-bot-triggers、 whatsapp-top-level-reply-shape、whatsapp-restart-resume、 whatsapp-group-allowlist-block。
• 原生命令：whatsapp-help-command、whatsapp-status-command、 whatsapp-commands-command、whatsapp-tools-compact-command、 whatsapp-whoami-command、whatsapp-context-command、 whatsapp-native-new-command。
• 回复和最终输出行为：whatsapp-tool-only-usage-footer、 whatsapp-reply-to-message、whatsapp-group-reply-to-message、 whatsapp-reply-to-mode-batched、whatsapp-reply-context-isolation、 whatsapp-reply-delivery-shape、whatsapp-stream-final-message-accounting。
• 用户路径消息操作：whatsapp-agent-message-action-react 从真实驱动私信开始， 让模型调用 message 工具，并观察原生 WhatsApp 表情回应。whatsapp-agent-message-action-upload-file 对 message(action=upload-file) 使用相同姿态，并观察原生 WhatsApp 媒体。 whatsapp-group-agent-message-action-react 和 whatsapp-group-agent-message-action-upload-file 在真实 WhatsApp 群组中证明相同的 用户可见操作。
• 群组扇出：whatsapp-broadcast-group-fanout 从一条被提及的 WhatsApp 群组消息开始，并验证来自 main 和 qa-second 的不同可见回复。
• 群组激活：whatsapp-group-activation-always 将真实群组会话改为 /activation always，证明未提及的群组消息会唤醒智能体，然后恢复 /activation mention。 whatsapp-group-reply-to-bot-triggers 先播种一条 Bot 回复，再向它发送一条没有显式提及的原生引用回复， 并验证智能体会从该回复上下文中唤醒。
• 入站媒体和结构化消息：whatsapp-inbound-image-caption、 whatsapp-audio-preflight、whatsapp-inbound-structured-messages、 whatsapp-group-audio-gating、whatsapp-inbound-reaction-no-trigger。 这些场景会通过驱动发送真实 WhatsApp 图片、音频、文档、位置、联系人、 贴纸和表情回应事件。
• 直接 Gateway 网关契约探针：whatsapp-outbound-media-matrix、 whatsapp-outbound-document-preserves-filename、whatsapp-outbound-poll、 whatsapp-outbound-send-serialization、 whatsapp-group-outbound-media、whatsapp-group-outbound-poll、 whatsapp-message-actions、whatsapp-reply-context-isolation、 whatsapp-reply-delivery-shape。这些有意绕过模型提示， 并证明确定性的 Gateway 网关/渠道 send、poll 和 message.action 契约。
• 访问控制覆盖：whatsapp-access-control-dm-open、 whatsapp-access-control-dm-disabled、whatsapp-access-control-group-open、 whatsapp-access-control-group-disabled、whatsapp-group-allowlist-block。
• 原生审批：whatsapp-approval-exec-deny-native、 whatsapp-approval-exec-native、whatsapp-approval-exec-reaction-native、 whatsapp-approval-exec-group-reaction-native、 whatsapp-approval-plugin-native。
• 状态表情回应：whatsapp-status-reactions、 whatsapp-status-reaction-lifecycle。

• whatsapp-qa-report.md
• qa-evidence.json - 实时传输检查的证据条目。
• whatsapp-qa-observed-messages.json - 正文会被编辑隐藏，除非设置 OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1。

​

Convex 凭据池

• Discord（kind: "discord"）：{ guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }。
• Telegram（kind: "telegram"）：{ groupId: string, driverToken: string, sutToken: string } - groupId 必须是数字聊天 ID 字符串。
• Telegram 真实用户（kind: "telegram-user"）：{ groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - 仅限 Mantis Telegram Desktop 证明。通用 QA Lab 通道不得获取此类型。
• WhatsApp（kind: "whatsapp"）：{ driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - 电话号码必须是不同的 E.164 字符串。

​

仓库支持的种子

• qa/scenarios/index.yaml
• qa/scenarios/<theme>/*.yaml

• 顶层 title
• scenario 元数据
• scenario 中可选的类别、能力、通道和风险元数据
• scenario 中的文档和代码引用
• scenario 中可选的插件要求
• scenario 中可选的 Gateway 网关配置补丁
• 用于流程场景的可执行顶层 flow，或用于 Vitest 和 Playwright 场景的 scenario.execution.kind / scenario.execution.path

• 私信和渠道聊天
• 线程行为
• 消息操作生命周期
• cron 回调
• 记忆回忆
• 模型切换
• 子智能体交接
• 仓库读取和文档读取
• 一个小型构建任务，例如 Lobster Invaders

​

提供商模拟通道

• mock-openai 是感知场景的 OpenClaw 模拟。它仍然是仓库支持的 QA 和一致性门控的默认确定性模拟通道。
• aimock 会启动由 AIMock 支撑的提供商服务器，用于实验性协议、fixture、录制/回放和混沌覆盖。 它是增量能力，不会替代 mock-openai 场景调度器。

​

传输适配器

• qa-lab 拥有通用场景执行、工作器并发、工件写入和报告。
• 传输适配器拥有 Gateway 网关配置、就绪检查、入站和出站观察、传输操作以及规范化传输状态。
• qa/scenarios/ 下的 YAML 场景文件定义测试运行；qa-lab 提供执行它们的可复用运行时表面。

​

添加渠道

• openclaw qa 命令根
• 套件启动和拆除
• 工作器并发
• 工件写入
• 报告生成
• 场景执行
• 旧版 qa-channel 场景的兼容别名

• openclaw qa <runner> 如何挂载到共享 qa 根下面
• 如何为该传输配置 Gateway 网关
• 如何检查就绪状态
• 如何注入入站事件
• 如何观察出站消息
• 如何暴露转录和规范化传输状态
• 如何执行由传输支撑的操作
• 如何处理传输特定的重置或清理

1. 保持 qa-lab 作为共享 qa 根命令的所有者。
2. 在共享的 qa-lab 主机接缝上实现传输运行器。
3. 将传输专属机制保留在运行器插件或渠道 harness 内。
4. 将运行器挂载为 openclaw qa <runner>，而不是注册一个竞争性的根命令。运行器插件应在 openclaw.plugin.json 中声明 qaRunners，并从 runtime-api.ts 导出匹配的 qaRunnerCliRegistrations 数组。保持 runtime-api.ts 轻量；延迟 CLI 和运行器执行应放在单独的入口点后面。可选的 adapterFactory 会向共享场景暴露传输，而不改变命令现有的场景目录。
5. 在主题化的 qa/scenarios/ 目录下编写或改编 YAML 场景。
6. 为新场景使用通用场景辅助函数。
7. 除非仓库正在进行有意迁移，否则保持现有兼容别名可用。

• 如果行为可以在 qa-lab 中表达一次，就把它放在 qa-lab。
• 如果行为依赖某个渠道传输，就把它保留在该运行器插件或插件 harness 中。
• 如果某个场景需要多个渠道都能使用的新能力，请添加通用辅助函数，而不是在 suite.ts 中添加渠道专属分支。
• 如果某个行为只对一种传输有意义，就保持场景传输专属，并在场景契约中明确说明。

​

场景辅助函数名称

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

报告

• 哪些工作正常
• 哪些失败了
• 哪些仍被阻塞
• 哪些后续场景值得添加

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-8,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-8,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

相关文档

• Matrix QA
• 成熟度评分卡
• 个人智能体基准包
• QA 渠道
• 测试
• 仪表板