QA 개요

• extensions/qa-channel: DM, 채널, 스레드, 반응, 편집, 삭제 표면을 갖춘 합성 메시지 채널.
• extensions/qa-lab: transcript 관찰, 인바운드 메시지 주입, Markdown 보고서 내보내기를 위한 디버거 UI와 QA 버스.
• extensions/qa-matrix, 향후 runner Plugin: 하위 QA Gateway 안에서 실제 채널을 구동하는 라이브 전송 어댑터.
• qa/: kickoff 작업과 기준 QA 시나리오를 위한 저장소 기반 seed 자산.
• Mantis: 실제 전송, 브라우저 스크린샷, VM 상태, PR 증거가 필요한 버그에 대한 전후 라이브 검증.

​

명령 표면

pnpm openclaw qa run \
  --qa-profile smoke-ci \
  --category channel-framework.conversation-routing-and-delivery \
  --provider-mode mock-openai \
  --output-dir .artifacts/qa-e2e/smoke-ci-profile-dispatch

pnpm openclaw --profile work qa run --qa-profile smoke-ci

​

Operator 흐름

• 왼쪽: agent가 있는 Gateway dashboard(Control UI).
• 오른쪽: Slack과 유사한 transcript 및 시나리오 계획을 표시하는 QA Lab.

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm qa:otel:collector-smoke

pnpm qa:prometheus:smoke

pnpm qa:observability:smoke

pnpm qa:observability:collector-smoke

OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode mock-openai --profile fast --fail-fast

OPENCLAW_LIVE_OPENAI_KEY="${OPENAI_API_KEY}" \
OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode live-frontier --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack
pnpm openclaw qa whatsapp

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis slack-desktop-smoke \
  --approval-checkpoints \
  --credential-source convex \
  --credential-role maintainer

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.5

pnpm openclaw qa credentials doctor

​

라이브 전송 범위

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Telegram, Discord, Slack, WhatsApp QA 참조

​

공유 CLI 플래그

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - 숫자 채팅 ID(문자열).
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• qa-evidence.json - 프로필, 커버리지, provider, 채널, 아티팩트, 결과, RTT 필드를 포함한 실시간 전송 계층 검사 증거 항목입니다.

OPENCLAW_QA_CREDENTIAL_SOURCE=convex \
pnpm test:docker:npm-telegram-live

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - Discord가 반환한 SUT 봇 사용자 ID와 일치해야 합니다(그렇지 않으면 레인이 빠르게 실패합니다).

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1은 관찰된 메시지 아티팩트에 메시지 본문을 유지합니다.
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID는 discord-voice-autojoin에 사용할 음성/스테이지 채널을 선택합니다. 없으면 시나리오는 SUT 봇에 보이는 첫 번째 음성/스테이지 채널을 선택합니다.

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - 옵트인 음성 시나리오입니다. 단독으로 실행되며, channels.discord.voice.autoJoin을 활성화하고 SUT 봇의 현재 Discord 음성 상태가 대상 음성/스테이지 채널인지 검증합니다. Convex Discord 자격 증명에는 선택적 voiceChannelId가 포함될 수 있습니다. 그렇지 않으면 러너가 길드에서 보이는 첫 번째 음성/스테이지 채널을 검색합니다.
• discord-status-reactions-tool-only - 옵트인 Mantis 시나리오입니다. SUT를 messages.statusReactions.enabled=true가 포함된 항상 켜짐, 도구 전용 길드 응답으로 전환하므로 단독으로 실행되며, 그런 다음 REST 반응 타임라인과 HTML/PNG 시각 아티팩트를 캡처합니다. Mantis 전/후 보고서는 시나리오가 제공한 MP4 아티팩트도 baseline.mp4 및 candidate.mp4로 보존합니다.

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.5 \
  --alt-model openai/gpt-5.5 \
  --fast

• discord-qa-report.md
• qa-evidence.json - 실시간 전송 계층 검사 증거 항목입니다.
• discord-qa-observed-messages.json - OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1이 아니면 본문이 편집됩니다.
• 상태 반응 시나리오가 실행될 때 discord-qa-reaction-timelines.json 및 discord-status-reactions-tool-only-timeline.png.

​

Slack QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1은 관찰된 메시지 아티팩트에 메시지 본문을 유지합니다.
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR은 Mantis용 시각 승인 체크포인트를 활성화합니다. 러너는 <scenario>.pending.json 및 <scenario>.resolved.json을 기록한 다음 일치하는 .ack.json 파일을 기다립니다.
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_TIMEOUT_MS는 체크포인트 확인 제한 시간을 재정의합니다. 기본값은 120000입니다.

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation
• slack-approval-exec-native - 옵트인 네이티브 Slack exec 승인 시나리오입니다. Gateway를 통해 exec 승인을 요청하고, Slack 메시지에 네이티브 승인 버튼이 있는지 검증하며, 이를 해결한 뒤 해결된 Slack 업데이트를 검증합니다.
• slack-approval-plugin-native - 옵트인 네이티브 Slack Plugin 승인 시나리오입니다. exec 및 Plugin 승인 전달을 함께 활성화하여 Plugin 이벤트가 exec 승인 라우팅에 의해 억제되지 않도록 한 다음, 동일한 보류/해결 네이티브 Slack UI 경로를 검증합니다.

• slack-qa-report.md
• qa-evidence.json - 실시간 전송 계층 검사 증거 항목입니다.
• slack-qa-observed-messages.json - OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1이 아니면 본문이 편집됩니다.
• approval-checkpoints/ - Mantis가 OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR을 설정한 경우에만 있습니다. 체크포인트 JSON, 확인 JSON, 보류/해결 스크린샷을 포함합니다.

​

Slack 워크스페이스 설정

• channelId - 두 봇 모두 초대된 채널의 Cxxxxxxxxxx ID입니다. 전용 채널을 사용하세요. 레인은 실행할 때마다 게시합니다.
• driverBotToken - Driver 앱의 봇 토큰(xoxb-...)입니다.
• sutBotToken - SUT 앱의 봇 토큰(xoxb-...)입니다. 봇 사용자 ID가 서로 다르도록 driver와 별도의 Slack 앱이어야 합니다.
• sutAppToken - SUT 앱의 connections:write가 있는 앱 수준 토큰(xapp-...)입니다. Socket Mode가 SUT 앱에서 이벤트를 받을 수 있도록 사용합니다.

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → Bot User OAuth Token 복사 → 이것이 sutBotToken이 됩니다.
• Basic Information → App-Level Tokens → Generate Token and Scopes → connections:write 범위 추가 → 저장 → xapp-... 값 복사 → 이것이 sutAppToken이 됩니다.

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

WhatsApp QA

pnpm openclaw qa whatsapp

• OPENCLAW_QA_WHATSAPP_DRIVER_PHONE_E164
• OPENCLAW_QA_WHATSAPP_SUT_PHONE_E164
• OPENCLAW_QA_WHATSAPP_DRIVER_AUTH_ARCHIVE_BASE64
• OPENCLAW_QA_WHATSAPP_SUT_AUTH_ARCHIVE_BASE64

• OPENCLAW_QA_WHATSAPP_GROUP_JID는 whatsapp-mention-gating, whatsapp-group-pending-history-context, whatsapp-broadcast-group-fanout, whatsapp-group-activation-always, whatsapp-group-reply-to-bot-triggers, 그룹 작업/미디어/투표 시나리오, whatsapp-group-allowlist-block 같은 그룹 시나리오를 활성화합니다.
• OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1은 observed-message 아티팩트에 메시지 본문을 유지합니다.

• 기준선 및 그룹 게이팅: whatsapp-canary, whatsapp-pairing-block, whatsapp-mention-gating, whatsapp-group-pending-history-context, whatsapp-group-activation-always, whatsapp-group-reply-to-bot-triggers, whatsapp-top-level-reply-shape, whatsapp-restart-resume, whatsapp-group-allowlist-block.
• 네이티브 명령: whatsapp-help-command, whatsapp-status-command, whatsapp-commands-command, whatsapp-tools-compact-command, whatsapp-whoami-command, whatsapp-context-command, whatsapp-native-new-command.
• 답장 및 최종 출력 동작: whatsapp-tool-only-usage-footer, whatsapp-reply-to-message, whatsapp-group-reply-to-message, whatsapp-reply-to-mode-batched, whatsapp-reply-context-isolation, whatsapp-reply-delivery-shape, whatsapp-stream-final-message-accounting.
• 사용자 경로 메시지 작업: whatsapp-agent-message-action-react는 실제 드라이버 DM에서 시작해 모델이 message 도구를 호출하게 하고 네이티브 WhatsApp 반응을 관찰합니다. whatsapp-agent-message-action-upload-file은 message(action=upload-file)에 동일한 자세를 사용하고 네이티브 WhatsApp 미디어를 관찰합니다. whatsapp-group-agent-message-action-react와 whatsapp-group-agent-message-action-upload-file은 실제 WhatsApp 그룹에서 동일한 사용자 표시 작업을 증명합니다.
• 그룹 팬아웃: whatsapp-broadcast-group-fanout은 멘션된 WhatsApp 그룹 메시지 하나에서 시작해 main과 qa-second의 서로 다른 표시 답장을 확인합니다.
• 그룹 활성화: whatsapp-group-activation-always는 실제 그룹 세션을 /activation always로 변경하고, 멘션되지 않은 그룹 메시지가 에이전트를 깨우는지 증명한 다음 /activation mention으로 복원합니다. whatsapp-group-reply-to-bot-triggers는 봇 답장을 시드하고, 명시적 멘션 없이 그 답장에 네이티브 인용 답장을 보낸 뒤, 해당 답장 컨텍스트에서 에이전트가 깨어나는지 확인합니다.
• 인바운드 미디어 및 구조화된 메시지: whatsapp-inbound-image-caption, whatsapp-audio-preflight, whatsapp-inbound-structured-messages, whatsapp-group-audio-gating, whatsapp-inbound-reaction-no-trigger. 이들은 실제 WhatsApp 이미지, 오디오, 문서, 위치, 연락처, 스티커, 반응 이벤트를 드라이버를 통해 보냅니다.
• 직접 Gateway 계약 프로브: whatsapp-outbound-media-matrix, whatsapp-outbound-document-preserves-filename, whatsapp-outbound-poll, whatsapp-group-outbound-media, whatsapp-group-outbound-poll, whatsapp-message-actions, whatsapp-reply-context-isolation, whatsapp-reply-delivery-shape. 이들은 의도적으로 모델 프롬프팅을 우회하고 결정적인 Gateway/채널 send, poll, message.action 계약을 증명합니다.
• 액세스 제어 범위: whatsapp-access-control-dm-open, whatsapp-access-control-dm-disabled, whatsapp-access-control-group-open, whatsapp-access-control-group-disabled, whatsapp-group-allowlist-block.
• 네이티브 승인: whatsapp-approval-exec-deny-native, whatsapp-approval-exec-native, whatsapp-approval-exec-reaction-native, whatsapp-approval-exec-group-reaction-native, whatsapp-approval-plugin-native.
• 상태 반응: whatsapp-status-reactions, whatsapp-status-reaction-lifecycle.

• whatsapp-qa-report.md
• qa-evidence.json - 라이브 전송 검사의 증거 항목입니다.
• whatsapp-qa-observed-messages.json - OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1이 아니면 본문은 마스킹됩니다.

​

Convex 자격 증명 풀

• Telegram(kind: "telegram"): { groupId: string, driverToken: string, sutToken: string } - groupId는 숫자 채팅 ID 문자열이어야 합니다.
• Telegram 실제 사용자(kind: "telegram-user"): { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - Mantis Telegram Desktop 증명 전용입니다. 일반 QA Lab 레인은 이 종류를 획득하면 안 됩니다.
• Discord(kind: "discord"): { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }.
• WhatsApp(kind: "whatsapp"): { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - 전화번호는 서로 다른 E.164 문자열이어야 합니다.

​

repo 기반 시드

• qa/scenarios/index.yaml
• qa/scenarios/<theme>/*.yaml

• 최상위 title
• scenario 메타데이터
• scenario의 선택적 카테고리, capability, 레인, risk 메타데이터
• scenario의 문서 및 코드 참조
• scenario의 선택적 Plugin 요구사항
• scenario의 선택적 Gateway config patch
• flow 시나리오용 실행 가능한 최상위 flow, 또는 Vitest 및 Playwright 시나리오용 scenario.execution.kind / scenario.execution.path

• DM 및 채널 채팅
• 스레드 동작
• 메시지 액션 수명 주기
• Cron 콜백
• 메모리 회상
• 모델 전환
• 하위 agent 핸드오프
• repo 읽기 및 문서 읽기
• Lobster Invaders 같은 작은 빌드 작업 하나

​

Provider mock 레인

• mock-openai는 시나리오 인식 OpenClaw mock입니다. repo 기반 QA와 패리티 게이트를 위한 기본 결정적 mock 레인으로 유지됩니다.
• aimock은 실험적 프로토콜, fixture, record/replay, chaos 커버리지를 위해 AIMock 기반 provider 서버를 시작합니다. 이는 추가 기능이며 mock-openai 시나리오 디스패처를 대체하지 않습니다.

​

전송 어댑터

• qa-lab은 일반 시나리오 실행, worker 동시성, 아티팩트 작성, 보고를 소유합니다.
• 전송 어댑터는 Gateway config, 준비 상태, 인바운드 및 아웃바운드 관찰, 전송 액션, 정규화된 전송 상태를 소유합니다.
• qa/scenarios/ 아래의 YAML 시나리오 파일은 테스트 실행을 정의하고, qa-lab은 이를 실행하는 재사용 가능한 런타임 표면을 제공합니다.

​

채널 추가

• openclaw qa 명령 루트
• suite 시작 및 종료
• worker 동시성
• 아티팩트 작성
• 보고서 생성
• 시나리오 실행
• 이전 qa-channel 시나리오를 위한 호환성 alias

• 공유 qa 루트 아래에 openclaw qa <runner>가 마운트되는 방식
• 해당 전송을 위해 Gateway가 구성되는 방식
• 준비 상태를 확인하는 방식
• 인바운드 이벤트를 주입하는 방식
• 아웃바운드 메시지를 관찰하는 방식
• transcript와 정규화된 전송 상태를 노출하는 방식
• 전송 기반 액션을 실행하는 방식
• 전송별 reset 또는 cleanup을 처리하는 방식

1. qa-lab을 공유 qa 루트의 소유자로 유지합니다.
2. 공유 qa-lab 호스트 경계에 전송 러너를 구현합니다.
3. 전송별 메커니즘은 러너 Plugin 또는 채널 하네스 내부에 유지합니다.
4. 경쟁하는 루트 명령을 등록하는 대신 러너를 openclaw qa <runner>로 마운트합니다. 러너 Plugin은 openclaw.plugin.json에 qaRunners를 선언하고 runtime-api.ts에서 일치하는 qaRunnerCliRegistrations 배열을 내보내야 합니다. runtime-api.ts는 가볍게 유지하세요. lazy CLI와 러너 실행은 별도 entrypoint 뒤에 있어야 합니다.
5. 테마별 qa/scenarios/ 디렉터리 아래에 YAML 시나리오를 작성하거나 조정합니다.
6. 새 시나리오에는 일반 시나리오 헬퍼를 사용합니다.
7. repo가 의도적인 마이그레이션을 수행하는 경우가 아니라면 기존 호환성 alias가 계속 작동하게 유지합니다.

• 동작을 qa-lab에서 한 번 표현할 수 있으면 qa-lab에 넣습니다.
• 동작이 하나의 채널 전송에 의존하면 해당 러너 Plugin 또는 Plugin 하네스에 유지합니다.
• 시나리오에 둘 이상의 채널이 사용할 수 있는 새 capability가 필요하면 suite.ts에 채널별 분기를 추가하는 대신 일반 헬퍼를 추가합니다.
• 동작이 하나의 전송에만 의미가 있으면 시나리오를 전송별로 유지하고 이를 시나리오 계약에 명시합니다.

​

시나리오 헬퍼 이름

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

보고

• 작동한 것
• 실패한 것
• 계속 차단된 것
• 추가할 가치가 있는 후속 시나리오

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-8,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-8,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

관련 문서

• Matrix QA
• 성숙도 스코어카드
• 개인 에이전트 벤치마크 팩
• QA 채널
• 테스트
• 대시보드