QA 개요

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

• extensions/qa-channel: DM, 채널, 스레드, 반응, 수정, 삭제 표면을 갖춘 합성 메시지 채널.
• extensions/qa-lab: 대화 기록 관찰, 인바운드 메시지 주입, Markdown 보고서 내보내기를 위한 디버거 UI 및 QA 버스.
• extensions/qa-matrix, 향후 러너 Plugin: 하위 QA Gateway 안에서 실제 채널을 구동하는 라이브 전송 어댑터.
• qa/: 시작 작업과 기준 QA 시나리오를 위한 저장소 기반 시드 자산.
• Mantis: 실제 전송, 브라우저 스크린샷, VM 상태, PR 증거가 필요한 버그를 위한 수정 전후 라이브 검증.

​

명령 표면

​

운영자 흐름

• 왼쪽: 에이전트가 있는 Gateway 대시보드(Control UI).
• 오른쪽: Slack과 유사한 대화 기록 및 시나리오 계획을 표시하는 QA Lab.

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm openclaw qa matrix --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.4

pnpm openclaw qa credentials doctor

​

라이브 전송 범위

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Telegram, Discord, Slack QA 참조

​

공유 CLI 플래그

​

Telegram QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - 숫자 채팅 id(문자열).
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1은 관찰된 메시지 아티팩트에 메시지 본문을 유지합니다(기본값은 마스킹).

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• telegram-qa-summary.json - 카나리부터 시작하는 답장별 RTT(드라이버 전송 → 관찰된 SUT 답장)를 포함합니다.
• telegram-qa-observed-messages.json - OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1이 아니면 본문은 마스킹됩니다.

​

Discord QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - Discord가 반환한 SUT bot 사용자 id와 일치해야 합니다(그렇지 않으면 레인이 빠르게 실패합니다).

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1은 관찰된 메시지 아티팩트에 메시지 본문을 유지합니다.
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID는 discord-voice-autojoin에 사용할 음성/스테이지 채널을 선택합니다. 없으면 시나리오가 SUT bot에 대해 처음 보이는 음성/스테이지 채널을 선택합니다.

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - opt-in 음성 시나리오입니다. 단독으로 실행되며, channels.discord.voice.autoJoin을 활성화하고 SUT bot의 현재 Discord 음성 상태가 대상 음성/스테이지 채널인지 확인합니다. Convex Discord 자격 증명에는 선택적 voiceChannelId가 포함될 수 있습니다. 그렇지 않으면 러너가 길드에서 처음 보이는 음성/스테이지 채널을 검색합니다.
• discord-status-reactions-tool-only - opt-in Mantis 시나리오입니다. SUT를 messages.statusReactions.enabled=true가 설정된 항상 켜짐, 도구 전용 길드 응답으로 전환하기 때문에 단독으로 실행되며, 이후 REST 반응 타임라인과 HTML/PNG 시각 아티팩트를 캡처합니다. Mantis 전후 보고서도 시나리오가 제공한 MP4 아티팩트를 baseline.mp4 및 candidate.mp4로 보존합니다.

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast

• discord-qa-report.md
• discord-qa-summary.json
• discord-qa-observed-messages.json - OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1이 아니면 본문은 삭제됩니다.
• 상태 반응 시나리오가 실행될 때 discord-qa-reaction-timelines.json 및 discord-status-reactions-tool-only-timeline.png.

​

Slack QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1은 관찰된 메시지 아티팩트에 메시지 본문을 유지합니다.

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation

• slack-qa-report.md
• slack-qa-summary.json
• slack-qa-observed-messages.json - OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1이 아니면 본문은 삭제됩니다.

​

Slack 워크스페이스 설정

• channelId - 두 bot이 모두 초대된 채널의 Cxxxxxxxxxx id입니다. 전용 채널을 사용하세요. 레인은 실행할 때마다 게시합니다.
• driverBotToken - Driver 앱의 bot 토큰(xoxb-...)입니다.
• sutBotToken - SUT 앱의 bot 토큰(xoxb-...)입니다. 드라이버와 별도의 Slack 앱이어야 bot 사용자 id가 구분됩니다.
• sutAppToken - SUT 앱의 connections:write가 있는 앱 수준 토큰(xapp-...)입니다. Socket Mode에서 SUT 앱이 이벤트를 받을 수 있도록 사용됩니다.

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → Bot User OAuth Token 복사 → 이것이 sutBotToken이 됩니다.
• Basic Information → App-Level Tokens → Generate Token and Scopes → 스코프 connections:write 추가 → 저장 → xapp-... 값 복사 → 이것이 sutAppToken이 됩니다.

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

Convex 자격 증명 풀

• Telegram(kind: "telegram"): { groupId: string, driverToken: string, sutToken: string } - groupId는 숫자 chat-id 문자열이어야 합니다.
• Telegram 실제 사용자(kind: "telegram-user"): { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - TDLib CLI 드라이버와 Telegram Desktop 시각 증인이 모두 사용하는 하나의 독점 버너 계정 임대입니다.
• Discord(kind: "discord"): { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }.
• WhatsApp(kind: "whatsapp"): { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - 전화번호는 서로 다른 E.164 문자열이어야 합니다.

pnpm qa:telegram-user:crabbox -- start --tdlib-url http://artifacts.openclaw.ai/tdlib-v1.8.0-linux-x64.tgz --output-dir .artifacts/qa-e2e/telegram-user-crabbox/pr-review
pnpm qa:telegram-user:crabbox -- send --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json --text /status
pnpm qa:telegram-user:crabbox -- finish --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json

​

저장소 기반 시드

• qa/scenarios/index.md
• qa/scenarios/<theme>/*.md

• 시나리오 메타데이터
• 선택적 category, capability, lane, risk 메타데이터
• 문서 및 코드 참조
• 선택적 Plugin 요구 사항
• 선택적 Gateway 구성 패치
• 실행 가능한 qa-flow

• DM 및 채널 채팅
• 스레드 동작
• 메시지 작업 수명 주기
• Cron 콜백
• 메모리 회상
• 모델 전환
• 하위 agent 핸드오프
• 저장소 읽기 및 문서 읽기
• Lobster Invaders 같은 작은 빌드 작업 하나

​

프로바이더 mock 레인

• mock-openai는 시나리오 인식 OpenClaw mock입니다. 저장소 기반 QA와 패리티 게이트를 위한 기본 결정론적 mock 레인으로 유지됩니다.
• aimock은 실험적 프로토콜, fixture, record/replay, chaos 커버리지를 위해 AIMock 기반 프로바이더 서버를 시작합니다. 이는 추가적인 것이며 mock-openai 시나리오 디스패처를 대체하지 않습니다.

​

전송 어댑터

• qa-lab은 범용 시나리오 실행, worker 동시성, artifact 작성, 보고를 소유합니다.
• 전송 어댑터는 Gateway 구성, 준비 상태, inbound 및 outbound 관찰, 전송 작업, 정규화된 전송 상태를 소유합니다.
• qa/scenarios/ 아래의 markdown 시나리오 파일이 테스트 실행을 정의합니다. qa-lab은 이를 실행하는 재사용 가능한 런타임 표면을 제공합니다.

​

채널 추가

1. 채널용 전송 어댑터.
2. 채널 계약을 실행하는 시나리오 팩.

• openclaw qa 명령 루트
• suite 시작 및 종료
• worker 동시성
• artifact 작성
• 보고서 생성
• 시나리오 실행
• 이전 qa-channel 시나리오를 위한 호환성 alias

• openclaw qa <runner>가 공유 qa 루트 아래에 마운트되는 방식
• 해당 전송에 맞게 Gateway가 구성되는 방식
• 준비 상태가 확인되는 방식
• inbound 이벤트가 주입되는 방식
• outbound 메시지가 관찰되는 방식
• transcript와 정규화된 전송 상태가 노출되는 방식
• 전송 기반 작업이 실행되는 방식
• 전송별 reset 또는 cleanup이 처리되는 방식

1. qa-lab을 공유 qa 루트의 소유자로 유지합니다.
2. 공유 qa-lab 호스트 연결부 위에 전송 러너를 구현합니다.
3. 전송별 메커니즘을 러너 Plugin 또는 채널 harness 내부에 유지합니다.
4. 경쟁하는 루트 명령을 등록하는 대신 러너를 openclaw qa <runner>로 마운트합니다. 러너 Plugin은 openclaw.plugin.json에 qaRunners를 선언하고 runtime-api.ts에서 일치하는 qaRunnerCliRegistrations 배열을 내보내야 합니다. runtime-api.ts는 가볍게 유지하세요. lazy CLI와 러너 실행은 별도의 entrypoint 뒤에 유지해야 합니다.
5. 테마별 qa/scenarios/ 디렉터리 아래에 markdown 시나리오를 작성하거나 조정합니다.
6. 새 시나리오에는 범용 시나리오 헬퍼를 사용합니다.
7. 저장소가 의도적인 migration을 수행하는 경우가 아니라면 기존 호환성 alias가 계속 작동하게 유지합니다.

• 동작을 qa-lab에서 한 번 표현할 수 있다면 qa-lab에 넣으세요.
• 동작이 하나의 채널 전송에 의존한다면 해당 러너 Plugin 또는 Plugin harness에 유지하세요.
• 시나리오에 둘 이상의 채널에서 사용할 수 있는 새 capability가 필요하다면 suite.ts에 채널별 분기를 추가하는 대신 범용 헬퍼를 추가하세요.
• 동작이 하나의 전송에서만 의미 있다면 시나리오를 전송별로 유지하고 시나리오 계약에 이를 명시하세요.

​

시나리오 헬퍼 이름

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

보고

• 무엇이 작동했는지
• 무엇이 실패했는지
• 무엇이 계속 차단되었는지
• 추가할 가치가 있는 후속 시나리오

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-6,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-6,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

관련 문서

• 매트릭스 QA
• QA Channel
• 테스트
• 대시보드