Przegląd QA

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

• extensions/qa-channel: syntetyczny kanał wiadomości z powierzchniami DM, kanału, wątku, reakcji, edycji i usuwania.
• extensions/qa-lab: interfejs debuggera i magistrala QA do obserwowania transkryptu, wstrzykiwania wiadomości przychodzących oraz eksportowania raportu Markdown.
• extensions/qa-matrix, przyszłe pluginy uruchamiające: adaptery transportu live, które sterują rzeczywistym kanałem wewnątrz podrzędnego Gateway QA.
• qa/: zasoby początkowe z repozytorium dla zadania startowego i bazowych scenariuszy QA.
• Mantis: weryfikacja live przed i po dla błędów, które wymagają rzeczywistych transportów, zrzutów ekranu przeglądarki, stanu VM i dowodów PR.

​

Powierzchnia poleceń

​

Przepływ operatora

• Lewo: panel Gateway (Control UI) z agentem.
• Prawo: QA Lab, pokazujące transkrypt podobny do Slack i plan scenariusza.

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm openclaw qa matrix --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.4

pnpm openclaw qa credentials doctor

​

Pokrycie transportu live

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Odniesienie QA dla Telegram, Discord i Slack

​

Wspólne flagi CLI

​

QA Telegram

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - numeryczny identyfikator czatu (ciąg znaków).
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1 zachowuje treści wiadomości w artefaktach zaobserwowanych wiadomości (domyślnie redaguje).

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• telegram-qa-summary.json - zawiera RTT dla każdej odpowiedzi (wysłanie przez driver → zaobserwowana odpowiedź SUT), zaczynając od canary.
• telegram-qa-observed-messages.json - treści redagowane, chyba że OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1.

​

QA Discord

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - musi odpowiadać identyfikatorowi użytkownika bota SUT zwróconemu przez Discord (w przeciwnym razie ścieżka szybko zakończy się niepowodzeniem).

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 zachowuje treści wiadomości w artefaktach zaobserwowanych wiadomości.
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID wybiera kanał głosowy/sceniczny dla discord-voice-autojoin; bez tego scenariusz wybiera pierwszy widoczny kanał głosowy/sceniczny dla bota SUT.

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - scenariusz głosowy włączany jawnie. Działa samodzielnie, włącza channels.discord.voice.autoJoin i weryfikuje, że bieżący stan głosowy bota SUT w Discord to docelowy kanał głosowy/sceniczny. Dane uwierzytelniające Convex Discord mogą zawierać opcjonalne voiceChannelId; w przeciwnym razie runner wykrywa pierwszy widoczny kanał głosowy/sceniczny w gildii.
• discord-status-reactions-tool-only - scenariusz Mantis włączany jawnie. Działa samodzielnie, ponieważ przełącza SUT na zawsze aktywne odpowiedzi w gildii wyłącznie przez narzędzia z messages.statusReactions.enabled=true, a następnie zapisuje oś czasu reakcji REST oraz artefakty wizualne HTML/PNG. Raporty Mantis przed/po zachowują też dostarczone przez scenariusz artefakty MP4 jako baseline.mp4 i candidate.mp4.

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast

• discord-qa-report.md
• discord-qa-summary.json
• discord-qa-observed-messages.json - treści są redagowane, chyba że ustawiono OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1.
• discord-qa-reaction-timelines.json i discord-status-reactions-tool-only-timeline.png, gdy uruchamiany jest scenariusz reakcji statusowych.

​

QA Slack

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 zachowuje treści wiadomości w artefaktach zaobserwowanych wiadomości.

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation

• slack-qa-report.md
• slack-qa-summary.json
• slack-qa-observed-messages.json - treści są redagowane, chyba że ustawiono OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1.

​

Konfigurowanie przestrzeni roboczej Slack

• channelId - identyfikator Cxxxxxxxxxx kanału, do którego zaproszono oba boty. Użyj dedykowanego kanału; ścieżka publikuje wiadomości przy każdym uruchomieniu.
• driverBotToken - token bota (xoxb-...) aplikacji Driver.
• sutBotToken - token bota (xoxb-...) aplikacji SUT, która musi być oddzielną aplikacją Slack od drivera, aby jej identyfikator użytkownika bota był odrębny.
• sutAppToken - token na poziomie aplikacji (xapp-...) aplikacji SUT z connections:write, używany przez Socket Mode, aby aplikacja SUT mogła odbierać zdarzenia.

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Zainstaluj w przestrzeni roboczej → skopiuj Bot User OAuth Token → staje się on sutBotToken.
• Podstawowe informacje → Tokeny na poziomie aplikacji → Wygeneruj token i zakresy → dodaj zakres connections:write → zapisz → skopiuj wartość xapp-... → staje się ona sutAppToken.

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

Pula danych uwierzytelniających Convex

• Telegram (kind: "telegram"): { groupId: string, driverToken: string, sutToken: string } - groupId musi być numerycznym ciągiem identyfikatora czatu.
• Rzeczywisty użytkownik Telegram (kind: "telegram-user"): { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - jedna wyłączna dzierżawa konta jednorazowego używana zarówno przez driver CLI TDLib, jak i wizualnego świadka Telegram Desktop.
• Discord (kind: "discord"): { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }.
• WhatsApp (kind: "whatsapp"): { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - numery telefonów muszą być odrębnymi ciągami E.164.

pnpm qa:telegram-user:crabbox -- start --tdlib-url http://artifacts.openclaw.ai/tdlib-v1.8.0-linux-x64.tgz --output-dir .artifacts/qa-e2e/telegram-user-crabbox/pr-review
pnpm qa:telegram-user:crabbox -- send --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json --text /status
pnpm qa:telegram-user:crabbox -- finish --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json

​

Seedy wspierane przez repozytorium

• qa/scenarios/index.md
• qa/scenarios/<theme>/*.md

• metadane scenariusza
• opcjonalne metadane kategorii, capability, ścieżki i ryzyka
• odwołania do dokumentacji i kodu
• opcjonalne wymagania dotyczące pluginów
• opcjonalną poprawkę konfiguracji Gateway
• wykonywalny qa-flow

• czat DM i kanałowy
• zachowanie wątków
• cykl życia akcji wiadomości
• callbacki cron
• przywoływanie pamięci
• przełączanie modeli
• przekazanie do subagenta
• czytanie repozytorium i dokumentacji
• jedno małe zadanie budowania, takie jak Lobster Invaders

​

Ścieżki mocków providerów

• mock-openai to świadomy scenariuszy mock OpenClaw. Pozostaje domyślną deterministyczną ścieżką mocków dla QA wspieranego przez repozytorium i bramek parzystości.
• aimock uruchamia serwer providera oparty na AIMock dla eksperymentalnego pokrycia protokołu, fixture, record/replay i chaos. Jest dodatkiem i nie zastępuje dispatcher’a scenariuszy mock-openai.

​

Adaptery transportu

• qa-lab posiada generyczne wykonywanie scenariuszy, współbieżność workerów, zapisywanie artefaktów i raportowanie.
• Adapter transportu posiada konfigurację Gateway, gotowość, obserwację przychodzącą i wychodzącą, akcje transportu oraz znormalizowany stan transportu.
• Pliki scenariuszy Markdown w qa/scenarios/ definiują uruchomienie testu; qa-lab udostępnia wielokrotnego użytku powierzchnię runtime, która je wykonuje.

​

Dodawanie kanału

1. Adaptera transportu dla kanału.
2. Pakietu scenariuszy, który ćwiczy kontrakt kanału.

• korzeń polecenia openclaw qa
• uruchamianie i teardown suite
• współbieżność workerów
• zapisywanie artefaktów
• generowanie raportów
• wykonywanie scenariuszy
• aliasy zgodności dla starszych scenariuszy qa-channel

• jak openclaw qa <runner> jest montowane pod współdzielonym korzeniem qa
• jak Gateway jest konfigurowany dla tego transportu
• jak sprawdzana jest gotowość
• jak wstrzykiwane są zdarzenia przychodzące
• jak obserwowane są wiadomości wychodzące
• jak udostępniane są transkrypty i znormalizowany stan transportu
• jak wykonywane są akcje wspierane przez transport
• jak obsługiwany jest reset lub czyszczenie specyficzne dla transportu

1. Zachowaj qa-lab jako właściciela współdzielonego korzenia qa.
2. Zaimplementuj runner transportu na współdzielonym seamie hosta qa-lab.
3. Trzymaj mechanikę specyficzną dla transportu w pluginie runnera lub harnessie kanału.
4. Zamontuj runner jako openclaw qa <runner> zamiast rejestrować konkurencyjne polecenie korzenia. Pluginy runnerów powinny deklarować qaRunners w openclaw.plugin.json i eksportować pasującą tablicę qaRunnerCliRegistrations z runtime-api.ts. Utrzymuj runtime-api.ts lekkim; leniwe CLI i wykonywanie runnera powinny pozostać za osobnymi entrypointami.
5. Utwórz lub dostosuj scenariusze Markdown w tematycznych katalogach qa/scenarios/.
6. Używaj generycznych helperów scenariuszy dla nowych scenariuszy.
7. Utrzymuj istniejące aliasy zgodności, chyba że repozytorium wykonuje celową migrację.

• Jeśli zachowanie można wyrazić raz w qa-lab, umieść je w qa-lab.
• Jeśli zachowanie zależy od jednego transportu kanału, trzymaj je w tym pluginie runnera lub harnessie pluginu.
• Jeśli scenariusz potrzebuje nowej capability, z której może korzystać więcej niż jeden kanał, dodaj generyczny helper zamiast gałęzi specyficznej dla kanału w suite.ts.
• Jeśli zachowanie ma sens tylko dla jednego transportu, utrzymaj scenariusz jako specyficzny dla transportu i zaznacz to jawnie w kontrakcie scenariusza.

​

Nazwy helperów scenariuszy

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

Raportowanie

• Co działało
• Co się nie powiodło
• Co pozostało zablokowane
• Jakie scenariusze uzupełniające warto dodać

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-6,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-6,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

Powiązana dokumentacja

• Macierz QA
• QA Channel
• Testowanie
• Dashboard