QA-overzicht

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

• extensions/qa-channel: synthetisch berichtkanaal met oppervlakken voor DM, kanaal, thread, reactie, bewerking en verwijdering.
• extensions/qa-lab: debugger-UI en QA-bus voor het observeren van het transcript, injecteren van inkomende berichten en exporteren van een Markdown-rapport.
• extensions/qa-matrix, toekomstige runner-Plugins: live-transportadapters die een echt kanaal aansturen binnen een onderliggende QA-Gateway.
• qa/: repo-ondersteunde seed-assets voor de opstarttaak en basis-QA- scenario’s.
• Mantis: voor- en naverificatie voor bugs waarvoor echte transports, browserscreenshots, VM-status en PR-bewijs nodig zijn.

​

Commando-interface

​

Operatorflow

• Links: Gateway-dashboard (Control UI) met de agent.
• Rechts: QA Lab, met het Slack-achtige transcript en scenarioplan.

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm openclaw qa matrix --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.4

pnpm openclaw qa credentials doctor

​

Live-transportdekking

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Telegram-, Discord- en Slack-QA-referentie

​

Gedeelde CLI-flags

​

Telegram-QA

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - numerieke chat-id (string).
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1 behoudt berichtinhoud in geobserveerde-berichtenartifacts (standaard geredigeerd).

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• telegram-qa-summary.json - bevat RTT per antwoord (driververzending → geobserveerd SUT-antwoord), beginnend met de canary.
• telegram-qa-observed-messages.json - inhoud geredigeerd tenzij OPENCLAW_QA_TELEGRAM_CAPTURE_CONTENT=1.

​

Discord-QA

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - moet overeenkomen met de SUT-botgebruikers-id die door Discord wordt teruggegeven (anders faalt de lane snel).

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 bewaart berichtinhoud in artefacten met waargenomen berichten.
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID selecteert het voice-/stage-kanaal voor discord-voice-autojoin; zonder deze variabele kiest het scenario het eerste zichtbare voice-/stage-kanaal voor de SUT-bot.

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - opt-in voice-scenario. Draait afzonderlijk, schakelt channels.discord.voice.autoJoin in en verifieert dat de huidige Discord-voice-status van de SUT-bot het doel-voice-/stage-kanaal is. Convex Discord-referenties kunnen een optionele voiceChannelId bevatten; anders ontdekt de runner het eerste zichtbare voice-/stage-kanaal in de guild.
• discord-status-reactions-tool-only - opt-in Mantis-scenario. Draait afzonderlijk omdat het de SUT omschakelt naar altijd-aan, alleen-tool-guildantwoorden met messages.statusReactions.enabled=true, en vervolgens een REST-reactietijdlijn plus HTML-/PNG-visuele artefacten vastlegt. Mantis-rapporten voor/na bewaren ook door het scenario geleverde MP4-artefacten als baseline.mp4 en candidate.mp4.

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.4 \
  --alt-model openai/gpt-5.4 \
  --fast

• discord-qa-report.md
• discord-qa-summary.json
• discord-qa-observed-messages.json - inhoud wordt geredigeerd tenzij OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1.
• discord-qa-reaction-timelines.json en discord-status-reactions-tool-only-timeline.png wanneer het statusreactiescenario draait.

​

Slack-QA

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 bewaart berichtinhoud in artefacten met waargenomen berichten.

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation

• slack-qa-report.md
• slack-qa-summary.json
• slack-qa-observed-messages.json - inhoud wordt geredigeerd tenzij OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1.

​

De Slack-werkruimte instellen

• channelId - de Cxxxxxxxxxx-id van een kanaal waarvoor beide bots zijn uitgenodigd. Gebruik een toegewezen kanaal; de lane plaatst bij elke run berichten.
• driverBotToken - bottoken (xoxb-...) van de Driver-app.
• sutBotToken - bottoken (xoxb-...) van de SUT-app, die een afzonderlijke Slack-app van de driver moet zijn zodat de botgebruikers-id anders is.
• sutAppToken - token op appniveau (xapp-...) van de SUT-app met connections:write, gebruikt door Socket Mode zodat de SUT-app gebeurtenissen kan ontvangen.

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Install to Workspace → kopieer de Bot User OAuth Token → dat wordt sutBotToken.
• Basic Information → App-Level Tokens → Generate Token and Scopes → voeg scope connections:write toe → sla op → kopieer de waarde xapp-... → dat wordt sutAppToken.

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

Convex-referentiepool

• Telegram (kind: "telegram"): { groupId: string, driverToken: string, sutToken: string } - groupId moet een numerieke chat-id-string zijn.
• Telegram echte gebruiker (kind: "telegram-user"): { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - één exclusieve burner-accountlease die zowel door de TDLib CLI-driver als de visuele getuige van Telegram Desktop wordt gebruikt.
• Discord (kind: "discord"): { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }.
• WhatsApp (kind: "whatsapp"): { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - telefoonnummers moeten verschillende E.164-strings zijn.

pnpm qa:telegram-user:crabbox -- start --tdlib-url http://artifacts.openclaw.ai/tdlib-v1.8.0-linux-x64.tgz --output-dir .artifacts/qa-e2e/telegram-user-crabbox/pr-review
pnpm qa:telegram-user:crabbox -- send --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json --text /status
pnpm qa:telegram-user:crabbox -- finish --session .artifacts/qa-e2e/telegram-user-crabbox/pr-review/session.json

​

Repo-ondersteunde seeds

• qa/scenarios/index.md
• qa/scenarios/<theme>/*.md

• scenariometadata
• optionele categorie-, capability-, lane- en risicometadata
• docs- en codeverwijzingen
• optionele Plugin-vereisten
• optionele Gateway-configpatch
• de uitvoerbare qa-flow

• DM- en kanaalchat
• threadgedrag
• levenscyclus van berichtacties
• cron-callbacks
• memory-recall
• modelwisseling
• overdracht aan subagent
• repo-lezen en docs-lezen
• één kleine buildtaak zoals Lobster Invaders

​

Provider-mocklanes

• mock-openai is de scenario-bewuste OpenClaw-mock. Dit blijft de standaard deterministische mocklane voor repo-ondersteunde QA en parity-gates.
• aimock start een provider-server met AIMock-backend voor experimentele protocol-, fixture-, record/replay- en chaosdekking. Dit is aanvullend en vervangt de mock-openai-scenariodispatcher niet.

​

Transportadapters

• qa-lab bezit generieke scenario-uitvoering, worker-concurrency, artifact-schrijven en rapportage.
• De transportadapter bezit Gateway-config, readiness, inbound en outbound observatie, transportacties en genormaliseerde transportstatus.
• Markdown-scenariobestanden onder qa/scenarios/ definiëren de testrun; qa-lab biedt het herbruikbare runtime-oppervlak dat ze uitvoert.

​

Een kanaal toevoegen

1. Een transportadapter voor het kanaal.
2. Een scenariopakket dat het kanaalcontract test.

• de openclaw qa-command root
• suite-start en teardown
• worker-concurrency
• artifact-schrijven
• rapportgeneratie
• scenario-uitvoering
• compatibiliteitsaliassen voor oudere qa-channel-scenario’s

• hoe openclaw qa <runner> onder de gedeelde qa-root wordt gemount
• hoe de Gateway voor dat transport wordt geconfigureerd
• hoe readiness wordt gecontroleerd
• hoe inbound events worden geïnjecteerd
• hoe outbound berichten worden geobserveerd
• hoe transcripten en genormaliseerde transportstatus worden blootgesteld
• hoe transport-backed acties worden uitgevoerd
• hoe transportspecifieke reset of cleanup wordt afgehandeld

1. Houd qa-lab als eigenaar van de gedeelde qa-root.
2. Implementeer de transportrunner op de gedeelde qa-lab-host-seam.
3. Houd transportspecifieke mechanica binnen de runner-plugin of kanaalharness.
4. Mount de runner als openclaw qa <runner> in plaats van een concurrerende root-command te registreren. Runner-plugins moeten qaRunners declareren in openclaw.plugin.json en een overeenkomende qaRunnerCliRegistrations-array exporteren vanuit runtime-api.ts. Houd runtime-api.ts licht; luie CLI- en runner-uitvoering moeten achter afzonderlijke entrypoints blijven.
5. Schrijf of pas markdown-scenario’s aan onder de thematische qa/scenarios/-directories.
6. Gebruik de generieke scenariohelpers voor nieuwe scenario’s.
7. Houd bestaande compatibiliteitsaliassen werkend tenzij de repo een opzettelijke migratie uitvoert.

• Als gedrag één keer in qa-lab kan worden uitgedrukt, plaats het dan in qa-lab.
• Als gedrag afhankelijk is van één kanaaltransport, houd het dan in die runner-plugin of pluginharness.
• Als een scenario een nieuwe capability nodig heeft die meer dan één kanaal kan gebruiken, voeg dan een generieke helper toe in plaats van een kanaalspecifieke vertakking in suite.ts.
• Als gedrag alleen betekenisvol is voor één transport, houd het scenario dan transportspecifiek en maak dat expliciet in het scenariocontract.

​

Namen van scenariohelpers

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

Rapportage

• Wat werkte
• Wat faalde
• Wat geblokkeerd bleef
• Welke vervolgschema’s het toevoegen waard zijn

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-6,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-6,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

Gerelateerde docs

• Matrix-QA
• QA-kanaal
• Testen
• Dashboard