사마귀

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

​

목표

• 사용자가 보는 것과 같은 전송 계층 형태로 GitHub issue 또는 PR의 버그를 재현합니다.
• 수정 사항을 적용하기 전에 baseline ref에서 before artifact를 캡처합니다.
• 수정 사항을 적용한 후 candidate ref에서 after artifact를 캡처합니다.
• 가능한 경우 Discord REST reaction 읽기 또는 channel transcript 검사처럼 결정적인 oracle을 사용합니다.
• 버그에 눈에 보이는 UI 표면이 있는 경우 screenshot을 캡처합니다.
• agent가 제어하는 CLI에서 로컬로, GitHub에서 원격으로 실행합니다.
• 로그인, 브라우저 자동화, 또는 provider 인증이 막힐 때 VNC 복구에 충분한 machine state를 보존합니다.
• 실행이 차단되었거나, 수동 VNC 도움이 필요하거나, 완료되었을 때 operator Discord channel에 간결한 상태를 게시합니다.

​

비목표

• Mantis는 unit test를 대체하지 않습니다. Mantis 실행은 보통 수정 사항이 이해된 뒤 더 작은 regression test가 되어야 합니다.
• Mantis는 일반적인 빠른 CI gate가 아닙니다. 더 느리고, live credential을 사용하며, live 환경이 중요한 버그에만 사용됩니다.
• Mantis는 일반 동작에 사람을 요구해서는 안 됩니다. 수동 VNC는 복구 경로이지 정상 경로가 아닙니다.
• Mantis는 artifact, log, screenshot, Markdown report, PR comment에 raw secret을 저장하지 않습니다.

​

소유권

• OpenClaw는 scenario runtime, transport adapter, evidence schema, 그리고 pnpm openclaw qa mantis 아래의 local CLI를 소유합니다.
• QA Lab은 live transport harness 구성 요소, browser capture helper, artifact writer를 소유합니다.
• Crabbox는 원격 VM이 필요할 때 예열된 Linux machine을 소유합니다.
• GitHub Actions는 remote workflow entrypoint와 artifact retention을 소유합니다.
• ClawSweeper는 maintainer command 파싱, workflow dispatch, 최종 PR comment 게시 등 GitHub comment routing을 소유합니다.
• OpenClaw agent는 scenario에 agentic setup, debugging, stuck-state reporting이 필요할 때 Codex를 통해 Mantis를 구동합니다.

​

명령 형태

pnpm openclaw qa mantis discord-smoke \
  --output-dir .artifacts/qa-e2e/mantis/discord-smoke

pnpm openclaw qa mantis run \
  --transport discord \
  --scenario discord-status-reactions-tool-only \
  --baseline origin/main \
  --candidate HEAD \
  --output-dir .artifacts/qa-e2e/mantis/local-discord-status-reactions

pnpm openclaw qa mantis run \
  --transport discord \
  --scenario discord-thread-reply-filepath-attachment \
  --baseline <bug-ref> \
  --candidate <fix-ref> \
  --output-dir .artifacts/qa-e2e/mantis/local-discord-thread-attachment

pnpm openclaw qa mantis desktop-browser-smoke \
  --output-dir .artifacts/qa-e2e/mantis/desktop-browser

• --lease-id <cbx_...> 또는 OPENCLAW_MANTIS_CRABBOX_LEASE_ID는 예열된 desktop을 재사용합니다.
• --browser-url <url>은 보이는 browser에서 열 page를 변경합니다.
• --html-file <path>는 repo-local HTML artifact를 보이는 browser에서 렌더링합니다. Mantis는 이를 사용해 실제 Crabbox desktop을 통해 생성된 Discord status-reaction timeline을 캡처합니다.
• --browser-profile-dir <remote-path>는 remote Chrome user-data-dir을 재사용하여 persistent Mantis desktop이 실행 사이에 로그인 상태를 유지할 수 있게 합니다. long-lived Discord Web viewer profile에 사용합니다.
• --browser-profile-archive-env <name>은 browser를 실행하기 전에 이름이 지정된 environment variable에서 base64 .tgz Chrome user-data-dir archive를 복원합니다. Discord Web 같은 로그인된 witness에 사용합니다. 기본 env var는 OPENCLAW_MANTIS_BROWSER_PROFILE_TGZ_B64입니다.
• --video-duration <seconds>는 MP4 capture length를 제어합니다. 안정화 시간이 필요한 느린 로그인된 web app에는 더 긴 duration을 사용합니다.
• --keep-lease 또는 OPENCLAW_MANTIS_KEEP_VM=1은 새로 생성된 passing lease를 VNC inspection을 위해 열어 둡니다. Failed run은 operator가 다시 연결할 수 있도록, lease가 생성된 경우 기본적으로 lease를 유지합니다.
• --class, --idle-timeout, --ttl은 machine size와 lease lifetime을 조정합니다.

pnpm openclaw qa mantis slack-desktop-smoke \
  --output-dir .artifacts/qa-e2e/mantis/slack-desktop \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN
• remote model lane을 위한 OPENCLAW_LIVE_OPENAI_KEY. 로컬에 OPENAI_API_KEY만 설정된 경우 Mantis는 Crabbox를 호출하기 전에 이를 OPENCLAW_LIVE_OPENAI_KEY로 매핑하여 Crabbox의 OPENCLAW_* env forwarding이 VM 안으로 전달할 수 있게 합니다.

• --lease-id <cbx_...>는 operator가 이미 VNC를 통해 Slack Web에 로그인한 machine에 대해 다시 실행합니다.
• --gateway-setup은 bot-to-bot QA lane만 실행하는 대신 VM에서 persistent OpenClaw Slack gateway를 시작합니다.
• --keep-lease는 성공 후 VNC inspection을 위해 gateway VM을 열어 둡니다. --no-keep-lease는 artifact 수집 후 이를 중지합니다.
• --slack-url <url>은 특정 Slack Web URL을 엽니다. 이것이 없으면 SUT bot token을 사용할 수 있을 때 Mantis가 Slack auth.test에서 https://app.slack.com/client/<team>/<channel>을 파생합니다.
• --slack-channel-id <id>는 gateway setup에서 사용하는 Slack channel allowlist를 제어합니다.
• OPENCLAW_MANTIS_SLACK_BROWSER_PROFILE_DIR은 VM 내부의 persistent Chrome profile을 제어합니다. 기본값은 $HOME/.config/openclaw-mantis/slack-chrome-profile이므로, 수동 Slack Web login은 같은 lease에서 재실행해도 유지됩니다.
• --credential-source convex --credential-role ci는 직접 Slack env token 대신 shared credential pool을 사용합니다.
• --provider-mode, --model, --alt-model, --fast는 Slack live lane으로 전달됩니다.

• baseline_ref: queued-only behavior를 재현할 것으로 예상되는 ref입니다.
• candidate_ref: queued -> thinking -> done을 표시할 것으로 예상되는 ref입니다.

pnpm openclaw qa mantis telegram-desktop-builder \
  --credential-source convex \
  --credential-role maintainer \
  --keep-lease

• --lease-id <cbx_...>는 운영자가 이미 Telegram Desktop에 로그인한 VM에 대해 다시 실행합니다.
• --telegram-profile-archive-env <name>는 해당 env var에서 base64 .tgz Telegram Desktop profile archive를 읽고 실행 전에 복원합니다.
• --telegram-profile-dir <remote-path>는 remote Telegram Desktop profile directory를 제어합니다. 기본값은 $HOME/.local/share/TelegramDesktop입니다.
• --no-gateway-setup은 OpenClaw를 구성하지 않고 Telegram Desktop을 설치하고 엽니다.
• --credential-source convex --credential-role ci는 직접 Telegram env token 대신 shared credential broker를 사용합니다.

{
  "schemaVersion": 1,
  "id": "discord-status-reactions",
  "title": "Mantis Discord Status Reactions QA",
  "summary": "Human-readable top summary for the PR comment.",
  "scenario": "discord-status-reactions-tool-only",
  "comparison": {
    "baseline": { "sha": "...", "status": "fail", "expected": "queued-only" },
    "candidate": { "sha": "...", "status": "pass", "expected": "queued -> thinking -> done" },
    "pass": true
  },
  "artifacts": [
    {
      "kind": "timeline",
      "lane": "baseline",
      "label": "Baseline queued-only",
      "path": "baseline/timeline.png",
      "targetPath": "baseline.png",
      "alt": "Baseline Discord timeline",
      "width": 420
    }
  ]
}

• timeline: 보통 before/after인 deterministic scenario screenshot.
• desktopScreenshot: VNC/browser desktop screenshot.
• motionPreview: desktop recording에서 생성된 inline animated GIF.
• motionClip: static lead-in과 tail을 제거한 움직임 기준 트리밍 MP4.
• fullVideo: 깊이 있는 검사용 full MP4 recording.
• metadata: JSON/log sidecar.
• report: Markdown report.

@Mantis discord status reactions

@Mantis discord status reactions baseline=origin/main candidate=HEAD

@Mantis telegram
@Mantis telegram scenario=telegram-status-command
@Mantis telegram scenarios=telegram-status-command,telegram-mentioned-message-reply

@clawsweeper mantis discord discord-status-reactions-tool-only
@clawsweeper verify e2e discord

​

실행 lifecycle

1. credential을 확보합니다.
2. VM을 할당하거나 재사용합니다.
3. scenario에 UI 증거가 필요할 때 desktop/browser profile을 준비합니다.
4. baseline ref를 위한 clean checkout을 준비합니다.
5. dependency를 설치하고 scenario에 필요한 것만 build합니다.
6. isolated state directory로 child OpenClaw Gateway를 시작합니다.
7. live transport, provider, model, browser profile을 구성합니다.
8. scenario를 실행하고 baseline 증거를 캡처합니다.
9. Gateway를 중지하고 log를 보존합니다.
10. 같은 VM에서 candidate ref를 준비합니다.
11. 같은 scenario를 실행하고 candidate 증거를 캡처합니다.
12. oracle result와 visual evidence를 비교합니다.
13. Markdown, JSON, log, screenshot, optional trace artifact를 작성합니다.
14. GitHub Actions artifact를 업로드합니다.
15. 간결한 PR 또는 Discord status message를 게시합니다.

• 버그 재현됨: baseline이 예상한 방식으로 실패했습니다.
• Harness 실패: bug oracle이 의미를 갖기 전에 environment setup, credential, Discord API, browser 또는 provider가 실패했습니다.

​

Discord MVP

• triggering message의 reaction으로 Discord에서 보입니다.
• Discord message reaction state를 통해 강력한 REST oracle을 제공합니다.
• 실제 OpenClaw Gateway, Discord bot auth, message dispatch, source reply delivery mode, status reaction state, model turn lifecycle을 실행합니다.
• 첫 구현을 정직하게 유지할 만큼 범위가 좁습니다.

id: discord-status-reactions-tool-only
transport: discord
baseline:
  expect:
    reproduced: true
candidate:
  expect:
    fixed: true
config:
  messages:
    ackReaction: "👀"
    ackReactionScope: "group-mentions"
    groupChat:
      visibleReplies: "message_tool"
    statusReactions:
      enabled: true
      timing:
        debounceMs: 0
discord:
  requireMention: true
  notifyChannel: operator-notify
evidence:
  rest:
    messageReactions: true
  browser:
    screenshotMessageRow: true

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast \
  --output-dir .artifacts/qa-e2e/mantis/discord-status-reactions-candidate

​

기존 QA 구성 요소

• pnpm openclaw qa discord는 이미 driver와 SUT bot을 사용하는 live Discord lane을 실행합니다.
• live transport runner는 이미 .artifacts/qa-e2e/ 아래에 report와 observed-message artifact를 작성합니다.
• Convex credential lease는 이미 shared live transport credential에 대한 exclusive access를 제공합니다.
• browser control service는 이미 screenshot, snapshot, headless managed profile, remote CDP profile을 지원합니다.
• QA Lab에는 이미 transport-shaped testing을 위한 debugger UI와 bus가 있습니다.

​

증거 model

.artifacts/qa-e2e/mantis/<run-id>/
  mantis-report.md
  mantis-summary.json
  baseline/
    summary.json
    discord-message.json
    screenshot-message-row.png
    gateway-debug/
  candidate/
    summary.json
    discord-message.json
    screenshot-message-row.png
    gateway-debug/
  comparison.json
  run.log

• 테스트한 ref와 SHA
• transport 및 scenario id
• machine provider와 machine id 또는 lease id
• secret value를 제외한 credential source
• baseline result
• candidate result
• baseline에서 버그가 재현되었는지 여부
• candidate가 이를 수정했는지 여부
• artifact path
• sanitized setup 또는 cleanup issue

​

브라우저 및 VNC

• 헤드리스 자동화: CI의 기본값입니다. Chrome은 CDP를 활성화한 상태로 실행되며, Playwright 또는 OpenClaw 브라우저 제어가 스크린샷을 캡처합니다.
• VNC 구조: 로그인, MFA, Discord 자동화 방지, 또는 시각적 디버깅에 사람이 필요할 때 같은 VM에서 활성화됩니다.

• 실행 ID
• 시나리오 ID
• 머신 제공자
• 아티팩트 디렉터리
• 사용 가능한 경우 VNC 또는 noVNC 연결 지침
• 짧은 차단 사유 텍스트

​

머신

• 데스크톱 사용이 가능한 Chrome 또는 Chromium이 설치된 Linux
• 브라우저 자동화를 위한 CDP 접근
• 구조를 위한 VNC 또는 noVNC
• Node 22 및 pnpm
• OpenClaw 체크아웃 및 의존성 캐시
• Playwright를 사용하는 경우 Playwright Chromium 브라우저 캐시
• 하나의 OpenClaw Gateway, 하나의 브라우저, 하나의 모델 실행에 충분한 CPU와 메모리
• Discord, GitHub, 모델 제공자, 자격 증명 브로커에 대한 아웃바운드 접근

​

비밀

• OPENCLAW_QA_DISCORD_MANTIS_BOT_TOKEN
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_NOTIFY_CHANNEL_ID
• 공개 GitHub 아티팩트 업로드용 OPENCLAW_QA_REDACT_PUBLIC_METADATA=1
• OPENCLAW_QA_CONVEX_SITE_URL
• OPENCLAW_QA_CONVEX_SECRET_CI
• OPENCLAW_QA_MANTIS_CRABBOX_COORDINATOR
• OPENCLAW_QA_MANTIS_CRABBOX_COORDINATOR_TOKEN

• Discord 봇 토큰
• 제공자 API 키
• 브라우저 쿠키
• 인증 프로필 내용
• VNC 비밀번호
• 원시 자격 증명 페이로드

​

GitHub 아티팩트 및 PR 댓글

Mantis Discord Status Reactions QA

Summary: Mantis reran the reported Discord status-reaction bug against the known
bad baseline and the candidate fix. The baseline reproduced the bug, while the
candidate showed the expected queued -> thinking -> done sequence.

- Scenario: `discord-status-reactions-tool-only`
- Run: <workflow run link>
- Artifact: <artifact link>
- Baseline: `<status>` at `<sha>`
- Candidate: `<status>` at `<sha>`

| Baseline            | Candidate           |
| ------------------- | ------------------- |
| <inline screenshot> | <inline screenshot> |

​

비공개 배포 참고 사항

​

시나리오 추가

• ID 및 제목
• 전송
• 필요한 자격 증명
• 베이스라인 참조 정책
• 후보 참조 정책
• OpenClaw 구성 패치
• 설정 단계
• 자극
• 예상 베이스라인 오라클
• 예상 후보 오라클
• 시각적 캡처 대상
• 타임아웃 예산
• 정리 단계

• 반응 버그의 경우 Discord 반응 상태
• 스레딩 버그의 경우 Discord 메시지 참조
• Slack 버그의 경우 Slack 스레드 타임스탬프 및 반응 API 상태
• 이메일 버그의 경우 이메일 메시지 ID 및 헤더
• UI가 유일하게 신뢰할 수 있는 관찰 대상일 때 브라우저 스크린샷

​

제공자 확장

• Slack: 반응, 스레드, 앱 멘션, 모달, 파일 업로드.
• 이메일: 커넥터만으로 충분하지 않은 경우 gog를 사용한 Gmail 인증 및 메시지 스레딩.
• WhatsApp: QR 로그인, 재식별, 메시지 전달, 미디어, 반응.
• Telegram: 그룹 멘션 게이팅, 명령, 사용 가능한 경우 반응.
• Matrix: 암호화된 방, 스레드 또는 답장 관계, 재시작 재개.

​

미해결 질문

• 기존 Mantis 봇을 재사용할 때 어떤 Discord 봇을 드라이버로, 어떤 봇을 SUT로 사용해야 하나요?
• 관찰자 브라우저 로그인은 첫 단계에서 사람 Discord 계정, 테스트 계정, 또는 봇이 읽을 수 있는 REST 증거만 사용해야 하나요?
• GitHub는 PR용 Mantis 아티팩트를 얼마나 오래 보존해야 하나요?
• ClawSweeper는 언제 메인테이너 명령을 기다리는 대신 Mantis를 자동으로 권장해야 하나요?
• 공개 PR의 경우 업로드 전에 스크린샷을 수정하거나 잘라내야 하나요?