Tổng quan QA

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

• extensions/qa-channel: channel thông điệp tổng hợp với các bề mặt DM, channel, thread, reaction, edit và delete.
• extensions/qa-lab: UI debugger và bus QA để quan sát transcript, bơm thông điệp inbound và xuất báo cáo Markdown.
• extensions/qa-matrix, các Plugin runner trong tương lai: adapter live-transport điều khiển một channel thật bên trong Gateway QA con.
• qa/: tài nguyên seed dựa trên repo cho tác vụ khởi động và các kịch bản QA baseline.
• Mantis: xác minh trực tiếp trước và sau cho các lỗi cần transport thật, ảnh chụp màn hình trình duyệt, trạng thái VM và bằng chứng PR.

​

Bề mặt lệnh

​

Luồng operator

• Trái: dashboard Gateway (UI điều khiển) với agent.
• Phải: QA Lab, hiển thị transcript kiểu Slack và kế hoạch kịch bản.

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm openclaw qa matrix --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.4

pnpm openclaw qa credentials doctor

​

Phạm vi bao phủ transport live

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Tham chiếu QA Telegram, Discord, và Slack

​

Cờ CLI dùng chung

​

QA Telegram

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - ID chat dạng số (chuỗi).
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1 giữ nội dung tin nhắn trong artifact tin nhắn quan sát được (mặc định biên tập bỏ).

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• telegram-qa-summary.json - bao gồm RTT theo từng trả lời (driver gửi → quan sát trả lời SUT) bắt đầu từ canary.
• telegram-qa-observed-messages.json - nội dung bị biên tập bỏ trừ khi OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1.

​

QA Discord

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - phải khớp với id người dùng của bot SUT do Discord trả về (nếu không lane sẽ thất bại nhanh).

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 giữ phần nội dung tin nhắn trong các artifact tin nhắn quan sát được.
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID chọn kênh thoại/stage cho discord-voice-autojoin; nếu không có, kịch bản sẽ chọn kênh thoại/stage hiển thị đầu tiên cho bot SUT.

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - kịch bản thoại cần chọn bật. Chạy riêng, bật channels.discord.voice.autoJoin, và xác minh trạng thái thoại Discord hiện tại của bot SUT là kênh thoại/stage đích. Thông tin xác thực Convex Discord có thể bao gồm voiceChannelId tùy chọn; nếu không, runner sẽ phát hiện kênh thoại/stage hiển thị đầu tiên trong guild.
• discord-status-reactions-tool-only - kịch bản Mantis cần chọn bật. Chạy riêng vì nó chuyển SUT sang chế độ luôn bật, chỉ trả lời guild bằng công cụ với messages.statusReactions.enabled=true, sau đó ghi lại timeline phản ứng REST cùng các artifact trực quan HTML/PNG. Báo cáo trước/sau của Mantis cũng giữ lại các artifact MP4 do kịch bản cung cấp dưới dạng baseline.mp4 và candidate.mp4.

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast

• discord-qa-report.md
• discord-qa-summary.json
• discord-qa-observed-messages.json - nội dung bị biên tập trừ khi OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1.
• discord-qa-reaction-timelines.json và discord-status-reactions-tool-only-timeline.png khi kịch bản phản ứng trạng thái chạy.

​

QA Slack

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 giữ phần nội dung tin nhắn trong các artifact tin nhắn quan sát được.

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation

• slack-qa-report.md
• slack-qa-summary.json
• slack-qa-observed-messages.json - nội dung bị biên tập trừ khi OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1.

​

Thiết lập workspace Slack

• channelId - id Cxxxxxxxxxx của kênh mà cả hai bot đã được mời vào. Hãy dùng một kênh chuyên dụng; lane sẽ đăng bài mỗi lần chạy.
• driverBotToken - token bot (xoxb-...) của ứng dụng Driver.
• sutBotToken - token bot (xoxb-...) của ứng dụng SUT, phải là một ứng dụng Slack tách biệt với driver để id người dùng bot của nó khác nhau.
• sutAppToken - token cấp ứng dụng (xapp-...) của ứng dụng SUT với connections:write, được Socket Mode dùng để ứng dụng SUT có thể nhận sự kiện.

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → sao chép Bot User OAuth Token → giá trị đó trở thành sutBotToken.
• Basic Information → App-Level Tokens → Generate Token and Scopes → thêm scope connections:write → lưu → sao chép giá trị xapp-... → giá trị đó trở thành sutAppToken.

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

Pool thông tin xác thực Convex

• Telegram (kind: "telegram"): { groupId: string, driverToken: string, sutToken: string } - groupId phải là chuỗi chat-id dạng số.
• Người dùng thật Telegram (kind: "telegram-user"): { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - một lease tài khoản dùng một lần độc quyền được cả driver CLI TDLib và nhân chứng trực quan Telegram Desktop sử dụng.
• Discord (kind: "discord"): { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }.
• WhatsApp (kind: "whatsapp"): { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - số điện thoại phải là các chuỗi E.164 khác nhau.

pnpm qa:telegram-user:crabbox -- start --tdlib-url http://artifacts.openclaw.ai/tdlib-v1.8.0-linux-x64.tgz --output-dir .artifacts/qa-e2e/telegram-user-crabbox/pr-review
pnpm qa:telegram-user:crabbox -- send --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json --text /status
pnpm qa:telegram-user:crabbox -- finish --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json

​

Seed dựa trên repo

• qa/scenarios/index.md
• qa/scenarios/<theme>/*.md

• metadata của scenario
• metadata tùy chọn về danh mục, capability, lane, và rủi ro
• tham chiếu docs và code
• yêu cầu Plugin tùy chọn
• bản vá cấu hình Gateway tùy chọn
• qa-flow có thể thực thi

• chat DM và kênh
• hành vi thread
• vòng đời hành động trên tin nhắn
• callback cron
• truy hồi bộ nhớ
• chuyển đổi mô hình
• bàn giao subagent
• đọc repo và đọc docs
• một tác vụ build nhỏ như Lobster Invaders

​

Lane mock của nhà cung cấp

• mock-openai là mock OpenClaw nhận biết scenario. Nó vẫn là lane mock quyết định mặc định cho QA dựa trên repo và các cổng parity.
• aimock khởi động một server nhà cung cấp dựa trên AIMock cho phạm vi kiểm thử giao thức thử nghiệm, fixture, record/replay, và chaos. Nó là phần bổ sung và không thay thế dispatcher scenario mock-openai.

​

Bộ chuyển đổi transport

• qa-lab sở hữu thực thi scenario tổng quát, concurrency worker, ghi artifact, và báo cáo.
• Bộ chuyển đổi transport sở hữu cấu hình Gateway, readiness, quan sát inbound và outbound, hành động transport, và trạng thái transport đã chuẩn hóa.
• Các tệp scenario markdown dưới qa/scenarios/ định nghĩa lần chạy kiểm thử; qa-lab cung cấp bề mặt runtime tái sử dụng để thực thi chúng.

​

Thêm kênh

1. Một bộ chuyển đổi transport cho kênh.
2. Một gói scenario kiểm tra hợp đồng kênh.

• root lệnh openclaw qa
• khởi động và teardown suite
• concurrency worker
• ghi artifact
• tạo báo cáo
• thực thi scenario
• alias tương thích cho các scenario qa-channel cũ hơn

• cách openclaw qa <runner> được mount bên dưới root qa dùng chung
• cách Gateway được cấu hình cho transport đó
• cách kiểm tra readiness
• cách inject sự kiện inbound
• cách quan sát tin nhắn outbound
• cách expose transcript và trạng thái transport đã chuẩn hóa
• cách thực thi các hành động dựa trên transport
• cách xử lý reset hoặc cleanup riêng cho transport

1. Giữ qa-lab làm chủ sở hữu root qa dùng chung.
2. Triển khai transport runner trên seam host qa-lab dùng chung.
3. Giữ cơ chế riêng cho transport bên trong Plugin runner hoặc harness kênh.
4. Mount runner dưới dạng openclaw qa <runner> thay vì đăng ký một root command cạnh tranh. Các Plugin runner nên khai báo qaRunners trong openclaw.plugin.json và export một mảng qaRunnerCliRegistrations khớp từ runtime-api.ts. Giữ runtime-api.ts nhẹ; CLI lazy và thực thi runner nên nằm sau các entrypoint riêng.
5. Viết hoặc điều chỉnh các scenario markdown dưới các thư mục theo chủ đề qa/scenarios/.
6. Dùng helper scenario tổng quát cho các scenario mới.
7. Giữ các alias tương thích hiện có hoạt động trừ khi repo đang thực hiện một migration có chủ ý.

• Nếu hành vi có thể được biểu đạt một lần trong qa-lab, đặt nó trong qa-lab.
• Nếu hành vi phụ thuộc vào một transport kênh, giữ nó trong Plugin runner hoặc harness Plugin đó.
• Nếu một scenario cần capability mới mà nhiều hơn một kênh có thể dùng, thêm một helper tổng quát thay vì một nhánh riêng cho kênh trong suite.ts.
• Nếu một hành vi chỉ có ý nghĩa với một transport, giữ scenario riêng cho transport và làm rõ điều đó trong hợp đồng scenario.

​

Tên helper scenario

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

Báo cáo

• Điều gì đã hoạt động
• Điều gì đã thất bại
• Điều gì vẫn bị chặn
• Những scenario theo dõi nào đáng thêm vào

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-6,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-6,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

Tài liệu liên quan

• Matrix QA
• QA Channel
• Kiểm thử
• Dashboard