Bọ ngựa

​

Mục tiêu

• Tái hiện lỗi từ một issue hoặc PR trên GitHub với cùng hình dạng transport mà người dùng thấy.
• Thu thập artifact trước trên ref baseline trước khi áp dụng bản sửa.
• Thu thập artifact sau trên ref ứng viên sau khi áp dụng bản sửa.
• Dùng oracle xác định bất cứ khi nào có thể, chẳng hạn như đọc reaction qua Discord REST hoặc kiểm tra transcript kênh.
• Chụp ảnh màn hình khi lỗi có bề mặt UI nhìn thấy được.
• Chạy cục bộ từ CLI do agent điều khiển và chạy từ xa từ GitHub.
• Giữ đủ trạng thái máy để cứu hộ qua VNC khi đăng nhập, tự động hóa trình duyệt, hoặc xác thực provider bị kẹt.
• Đăng trạng thái ngắn gọn lên kênh Discord của operator khi lượt chạy bị chặn, cần hỗ trợ VNC thủ công, hoặc hoàn tất.

​

Không phải mục tiêu

• Mantis không thay thế unit test. Một lượt chạy Mantis thường nên trở thành một regression test nhỏ hơn sau khi đã hiểu bản sửa.
• Mantis không phải là cổng CI nhanh thông thường. Nó chậm hơn, dùng thông tin xác thực live, và dành riêng cho các lỗi mà môi trường live có ý nghĩa.
• Mantis không nên cần con người trong vận hành bình thường. VNC thủ công là đường cứu hộ, không phải đường vận hành lý tưởng.
• Mantis không lưu secret thô trong artifact, log, ảnh chụp màn hình, báo cáo Markdown, hoặc bình luận PR.

​

Quyền sở hữu

• OpenClaw sở hữu runtime kịch bản, adapter transport, schema bằng chứng, và CLI cục bộ dưới pnpm openclaw qa mantis.
• QA Lab sở hữu các phần harness transport live, helper chụp trình duyệt, và writer artifact.
• Crabbox sở hữu các máy Linux đã được làm nóng khi cần VM từ xa.
• GitHub Actions sở hữu entrypoint workflow từ xa và thời gian giữ artifact.
• ClawSweeper sở hữu định tuyến bình luận GitHub: phân tích lệnh maintainer, dispatch workflow, và đăng bình luận PR cuối cùng.
• Các agent OpenClaw điều khiển Mantis qua Codex khi một kịch bản cần thiết lập agentic, gỡ lỗi, hoặc báo cáo trạng thái bị kẹt.

​

Hình dạng lệnh

pnpm openclaw qa mantis discord-smoke \
  --output-dir .artifacts/qa-e2e/mantis/discord-smoke

pnpm openclaw qa mantis run \
  --transport discord \
  --scenario discord-status-reactions-tool-only \
  --baseline origin/main \
  --candidate HEAD \
  --output-dir .artifacts/qa-e2e/mantis/local-discord-status-reactions

pnpm openclaw qa mantis run \
  --transport discord \
  --scenario discord-thread-reply-filepath-attachment \
  --baseline <bug-ref> \
  --candidate <fix-ref> \
  --output-dir .artifacts/qa-e2e/mantis/local-discord-thread-attachment

pnpm openclaw qa mantis desktop-browser-smoke \
  --output-dir .artifacts/qa-e2e/mantis/desktop-browser

• --lease-id <cbx_...> hoặc OPENCLAW_MANTIS_CRABBOX_LEASE_ID tái sử dụng một desktop đã được làm nóng.
• --browser-url <url> thay đổi trang được mở trong trình duyệt nhìn thấy được.
• --html-file <path> render một artifact HTML cục bộ trong repo trong trình duyệt nhìn thấy được. Mantis dùng lựa chọn này để chụp timeline status-reaction Discord đã tạo thông qua một desktop Crabbox thật.
• --browser-profile-dir <remote-path> tái sử dụng Chrome user-data-dir từ xa để một desktop Mantis bền vững có thể duy trì đăng nhập giữa các lượt chạy. Dùng lựa chọn này cho profile viewer Discord Web chạy lâu dài.
• --browser-profile-archive-env <name> khôi phục một archive Chrome user-data-dir .tgz base64 từ biến môi trường có tên trước khi khởi chạy trình duyệt. Dùng lựa chọn này cho các witness đã đăng nhập như Discord Web. Biến môi trường mặc định là OPENCLAW_MANTIS_BROWSER_PROFILE_TGZ_B64.
• --video-duration <seconds> điều khiển độ dài capture MP4. Dùng thời lượng dài hơn cho các ứng dụng web đã đăng nhập chậm cần thời gian ổn định.
• --keep-lease hoặc OPENCLAW_MANTIS_KEEP_VM=1 giữ một lease mới tạo và đã pass mở để kiểm tra qua VNC. Theo mặc định, các lượt chạy thất bại sẽ giữ lease khi lease đó được tạo để operator có thể kết nối lại.
• --class, --idle-timeout, và --ttl tinh chỉnh kích thước máy và vòng đời lease.

pnpm openclaw qa mantis slack-desktop-smoke \
  --output-dir .artifacts/qa-e2e/mantis/slack-desktop \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN
• OPENCLAW_LIVE_OPENAI_KEY cho lane model từ xa. Nếu chỉ đặt OPENAI_API_KEY cục bộ, Mantis ánh xạ nó sang OPENCLAW_LIVE_OPENAI_KEY trước khi gọi Crabbox để cơ chế chuyển tiếp env OPENCLAW_* của Crabbox có thể mang nó vào VM.

• --lease-id <cbx_...> chạy lại trên một máy nơi operator đã đăng nhập Slack Web qua VNC.
• --gateway-setup khởi động một Gateway Slack OpenClaw bền vững trong VM thay vì chỉ chạy lane QA bot-to-bot.
• --keep-lease giữ VM Gateway mở để kiểm tra qua VNC sau khi thành công; --no-keep-lease dừng nó sau khi thu thập artifact.
• --slack-url <url> mở một URL Slack Web cụ thể. Nếu không có, Mantis suy ra https://app.slack.com/client/<team>/<channel> từ Slack auth.test khi có SUT bot token.
• --slack-channel-id <id> điều khiển allowlist kênh Slack dùng bởi thiết lập Gateway.
• OPENCLAW_MANTIS_SLACK_BROWSER_PROFILE_DIR điều khiển profile Chrome bền vững bên trong VM. Mặc định là $HOME/.config/openclaw-mantis/slack-chrome-profile, nên đăng nhập Slack Web thủ công sẽ tồn tại qua các lượt chạy lại trên cùng lease.
• --credential-source convex --credential-role ci dùng pool thông tin xác thực dùng chung thay vì token env Slack trực tiếp.
• --provider-mode, --model, --alt-model, và --fast truyền tiếp vào lane live Slack.

• baseline_ref: ref được kỳ vọng sẽ tái hiện hành vi chỉ queued.
• candidate_ref: ref được kỳ vọng sẽ hiển thị queued -> thinking -> done.

pnpm openclaw qa mantis telegram-desktop-builder \
  --credential-source convex \
  --credential-role maintainer \
  --keep-lease

• --lease-id <cbx_...> chạy lại trên một VM nơi operator đã đăng nhập vào Telegram Desktop.
• --telegram-profile-archive-env <name> đọc archive hồ sơ Telegram Desktop .tgz dạng base64 từ biến env đó và khôi phục trước khi khởi chạy.
• --telegram-profile-dir <remote-path> điều khiển thư mục hồ sơ Telegram Desktop từ xa. Mặc định là $HOME/.local/share/TelegramDesktop.
• --no-gateway-setup cài đặt và mở Telegram Desktop mà không cấu hình OpenClaw.
• --credential-source convex --credential-role ci dùng broker thông tin xác thực dùng chung thay vì token env Telegram trực tiếp.

{
  "schemaVersion": 1,
  "id": "discord-status-reactions",
  "title": "Mantis Discord Status Reactions QA",
  "summary": "Human-readable top summary for the PR comment.",
  "scenario": "discord-status-reactions-tool-only",
  "comparison": {
    "baseline": { "sha": "...", "status": "fail", "expected": "queued-only" },
    "candidate": { "sha": "...", "status": "pass", "expected": "queued -> thinking -> done" },
    "pass": true
  },
  "artifacts": [
    {
      "kind": "timeline",
      "lane": "baseline",
      "label": "Baseline queued-only",
      "path": "baseline/timeline.png",
      "targetPath": "baseline.png",
      "alt": "Baseline Discord timeline",
      "width": 420
    }
  ]
}

• timeline: ảnh chụp màn hình kịch bản xác định, thường là before/after.
• desktopScreenshot: ảnh chụp màn hình desktop VNC/trình duyệt.
• motionPreview: GIF động nội tuyến được tạo từ bản ghi desktop.
• motionClip: MP4 đã cắt theo chuyển động, loại bỏ phần tĩnh đầu và cuối.
• fullVideo: bản ghi MP4 đầy đủ để kiểm tra sâu.
• metadata: sidecar JSON/log.
• report: báo cáo Markdown.

• MANTIS_ARTIFACT_R2_ACCESS_KEY_ID
• MANTIS_ARTIFACT_R2_SECRET_ACCESS_KEY
• MANTIS_ARTIFACT_R2_BUCKET
• MANTIS_ARTIFACT_R2_ENDPOINT
• MANTIS_ARTIFACT_R2_REGION
• MANTIS_ARTIFACT_R2_PUBLIC_BASE_URL

@openclaw-mantis discord status reactions

@openclaw-mantis discord status reactions baseline=origin/main candidate=HEAD

@openclaw-mantis telegram
@openclaw-mantis telegram scenario=telegram-status-command
@openclaw-mantis telegram scenarios=telegram-status-command,telegram-mentioned-message-reply

@clawsweeper mantis discord discord-status-reactions-tool-only
@clawsweeper verify e2e discord

​

Vòng đời chạy

1. Lấy thông tin xác thực.
2. Cấp phát hoặc tái sử dụng một VM.
3. Chuẩn bị hồ sơ desktop/trình duyệt khi kịch bản cần bằng chứng UI.
4. Chuẩn bị một checkout sạch cho ref mốc cơ sở.
5. Cài đặt dependency và chỉ build những gì kịch bản cần.
6. Khởi động một OpenClaw Gateway con với thư mục trạng thái cô lập.
7. Cấu hình transport live, provider, model và hồ sơ trình duyệt.
8. Chạy kịch bản và thu thập bằng chứng mốc cơ sở.
9. Dừng gateway và giữ lại log.
10. Chuẩn bị ref ứng viên trong cùng VM.
11. Chạy cùng kịch bản đó và thu thập bằng chứng ứng viên.
12. So sánh kết quả oracle và bằng chứng hình ảnh.
13. Ghi Markdown, JSON, log, ảnh chụp màn hình và artifact trace tùy chọn.
14. Tải lên artifact GitHub Actions.
15. Đăng thông báo trạng thái PR hoặc Discord ngắn gọn.

• Tái hiện lỗi: mốc cơ sở thất bại theo cách kỳ vọng.
• Lỗi harness: thiết lập môi trường, thông tin xác thực, Discord API, trình duyệt hoặc provider thất bại trước khi oracle lỗi có ý nghĩa.

​

MVP Discord

• Nó hiển thị trong Discord dưới dạng phản ứng trên tin nhắn kích hoạt.
• Nó có oracle REST mạnh thông qua trạng thái phản ứng tin nhắn Discord.
• Nó kiểm tra một OpenClaw Gateway thật, xác thực bot Discord, điều phối tin nhắn, chế độ gửi phản hồi nguồn, trạng thái phản ứng trạng thái và vòng đời lượt model.
• Nó đủ hẹp để giữ cho triển khai đầu tiên trung thực.

id: discord-status-reactions-tool-only
transport: discord
baseline:
  expect:
    reproduced: true
candidate:
  expect:
    fixed: true
config:
  messages:
    ackReaction: "👀"
    ackReactionScope: "group-mentions"
    groupChat:
      visibleReplies: "message_tool"
    statusReactions:
      enabled: true
      timing:
        debounceMs: 0
discord:
  requireMention: true
  notifyChannel: operator-notify
evidence:
  rest:
    messageReactions: true
  browser:
    screenshotMessageRow: true

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast \
  --output-dir .artifacts/qa-e2e/mantis/discord-status-reactions-candidate

​

Các thành phần QA hiện có

• pnpm openclaw qa discord đã chạy một lane Discord live với driver và bot SUT.
• Runner transport live đã ghi báo cáo, bằng chứng QA và artifact theo transport dưới .artifacts/qa-e2e/.
• Lease thông tin xác thực Convex đã cung cấp quyền truy cập độc quyền vào thông tin xác thực transport live dùng chung.
• Dịch vụ điều khiển trình duyệt đã hỗ trợ ảnh chụp màn hình, snapshot, hồ sơ được quản lý headless và hồ sơ CDP từ xa.
• QA Lab đã có UI debugger và bus cho kiểm thử theo dạng transport.

​

Mô hình bằng chứng

.artifacts/qa-e2e/mantis/<run-id>/
  mantis-report.md
  mantis-summary.json
  baseline/
    summary.json
    discord-message.json
    screenshot-message-row.png
    gateway-debug/
  candidate/
    summary.json
    discord-message.json
    screenshot-message-row.png
    gateway-debug/
  comparison.json
  run.log

• refs và SHA đã kiểm thử
• transport và scenario id
• nhà cung cấp máy và machine id hoặc lease id
• nguồn thông tin xác thực không kèm giá trị bí mật
• kết quả baseline
• kết quả candidate
• lỗi có tái hiện trên baseline hay không
• candidate có sửa được lỗi hay không
• đường dẫn artifact
• sự cố thiết lập hoặc dọn dẹp đã được làm sạch dữ liệu nhạy cảm

​

Trình duyệt và VNC

• Tự động hóa headless: mặc định cho CI. Chrome chạy với CDP được bật, và Playwright hoặc điều khiển trình duyệt OpenClaw chụp ảnh màn hình.
• Cứu hộ VNC: được bật trên cùng VM khi đăng nhập, MFA, chống tự động hóa của Discord hoặc gỡ lỗi trực quan cần con người.

• run id
• scenario id
• nhà cung cấp máy
• thư mục artifact
• hướng dẫn kết nối VNC hoặc noVNC nếu có
• văn bản ngắn mô tả điểm chặn

​

Máy

• Linux có cài đặt Chrome hoặc Chromium hỗ trợ desktop
• quyền truy cập CDP cho tự động hóa trình duyệt
• VNC hoặc noVNC để cứu hộ
• Node 22 và pnpm
• checkout OpenClaw và bộ nhớ đệm phụ thuộc
• bộ nhớ đệm trình duyệt Playwright Chromium khi dùng Playwright
• đủ CPU và bộ nhớ cho một OpenClaw Gateway, một trình duyệt và một lần chạy mô hình
• quyền truy cập outbound tới Discord, GitHub, nhà cung cấp mô hình và credential broker

​

Bí mật

• OPENCLAW_QA_DISCORD_MANTIS_BOT_TOKEN
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_NOTIFY_CHANNEL_ID
• OPENCLAW_QA_REDACT_PUBLIC_METADATA=1 cho tải artifact GitHub công khai lên
• OPENCLAW_QA_CONVEX_SITE_URL
• OPENCLAW_QA_CONVEX_SECRET_CI
• OPENCLAW_QA_MANTIS_CRABBOX_COORDINATOR
• OPENCLAW_QA_MANTIS_CRABBOX_COORDINATOR_TOKEN

• token bot Discord
• khóa API nhà cung cấp
• cookie trình duyệt
• nội dung hồ sơ xác thực
• mật khẩu VNC
• payload thông tin xác thực thô

​

Hiện vật GitHub và bình luận PR

Mantis Discord Status Reactions QA

Summary: Mantis reran the reported Discord status-reaction bug against the known
bad baseline and the candidate fix. The baseline reproduced the bug, while the
candidate showed the expected queued -> thinking -> done sequence.

- Scenario: `discord-status-reactions-tool-only`
- Run: <workflow run link>
- Artifact: <artifact link>
- Baseline: `<status>` at `<sha>`
- Candidate: `<status>` at `<sha>`

| Baseline            | Candidate           |
| ------------------- | ------------------- |
| <inline screenshot> | <inline screenshot> |

​

Ghi chú triển khai riêng tư

​

Thêm một kịch bản

• id và tiêu đề
• transport
• thông tin xác thực bắt buộc
• chính sách baseline ref
• chính sách candidate ref
• bản vá cấu hình OpenClaw
• các bước thiết lập
• stimulus
• oracle baseline kỳ vọng
• oracle candidate kỳ vọng
• mục tiêu chụp trực quan
• ngân sách timeout
• các bước cleanup

• Trạng thái reaction Discord cho lỗi reaction
• Tham chiếu message Discord cho lỗi threading
• thread ts và trạng thái API reaction của Slack cho lỗi Slack
• message ids và headers của email cho lỗi email
• ảnh chụp màn hình trình duyệt khi UI là quan sát đáng tin cậy duy nhất

​

Mở rộng provider

• Slack: reactions, threads, app mentions, modals, file uploads.
• Email: xác thực Gmail và threading message bằng gog khi connector không đủ.
• WhatsApp: đăng nhập QR, tái định danh, gửi message, media, reactions.
• Telegram: chặn group mention, commands, reactions khi có sẵn.
• Matrix: phòng được mã hóa, quan hệ thread hoặc reply, resume sau restart.

​

Câu hỏi mở

• Bot Discord nào nên là driver, và bot nào nên là SUT, khi bot Mantis hiện có được tái sử dụng?
• Đăng nhập trình duyệt observer nên dùng tài khoản Discord của con người, tài khoản test, hay chỉ bằng chứng REST mà bot đọc được cho giai đoạn đầu?
• GitHub nên lưu giữ hiện vật Mantis cho PR trong bao lâu?
• Khi nào ClawSweeper nên tự động đề xuất Mantis thay vì chờ lệnh maintainer?
• Ảnh chụp màn hình nên được biên tập lại hay cắt trước khi tải lên cho PR công khai?