Обзор QA

• extensions/qa-channel: синтетический канал сообщений с поверхностями личных сообщений, каналов, тредов, реакций, редактирования и удаления.
• extensions/qa-lab: отладочный UI и шина QA для наблюдения за транскриптом, внедрения входящих сообщений и экспорта Markdown-отчета.
• extensions/qa-matrix, будущие Plugin раннеров: адаптеры живых транспортов, которые управляют реальным каналом внутри дочернего QA gateway.
• qa/: seed-ресурсы из репозитория для стартовой задачи и базовых QA-сценариев.
• Mantis: проверка до и после вживую для ошибок, которым нужны реальные транспорты, скриншоты браузера, состояние VM и доказательства для PR.

​

Поверхность команд

pnpm openclaw qa run \
  --qa-profile smoke-ci \
  --category channel-framework.conversation-routing-and-delivery \
  --provider-mode mock-openai \
  --output-dir .artifacts/qa-e2e/smoke-ci-profile-dispatch

pnpm openclaw --profile work qa run --qa-profile smoke-ci

​

Поток оператора

• Слева: Gateway dashboard (Control UI) с агентом.
• Справа: QA Lab, показывающая похожий на Slack транскрипт и план сценария.

pnpm qa:lab:up

pnpm openclaw qa docker-build-image
pnpm qa:lab:build
pnpm qa:lab:up:fast
pnpm qa:lab:watch

pnpm qa:otel:smoke

pnpm qa:otel:collector-smoke

pnpm qa:prometheus:smoke

pnpm qa:observability:smoke

pnpm qa:observability:collector-smoke

OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode mock-openai --profile fast --fail-fast

OPENCLAW_LIVE_OPENAI_KEY="${OPENAI_API_KEY}" \
OPENCLAW_QA_MATRIX_NO_REPLY_WINDOW_MS=3000 \
  pnpm openclaw qa matrix --provider-mode live-frontier --profile fast --fail-fast

pnpm openclaw qa telegram
pnpm openclaw qa discord
pnpm openclaw qa slack
pnpm openclaw qa whatsapp

pnpm openclaw qa mantis slack-desktop-smoke \
  --gateway-setup \
  --scenario slack-canary \
  --keep-lease

pnpm openclaw qa mantis slack-desktop-smoke \
  --approval-checkpoints \
  --credential-source convex \
  --credential-role maintainer

pnpm openclaw qa mantis visual-task \
  --browser-url https://example.net \
  --expect-text "Example Domain" \
  --vision-model openai/gpt-5.5

pnpm openclaw qa credentials doctor

​

Покрытие живых транспортов

pnpm openclaw qa suite --runner multipass --scenario channel-chat-baseline

​

Справочник QA для Telegram, Discord, Slack и WhatsApp

​

Общие флаги CLI

​

QA Telegram

pnpm openclaw qa telegram

• OPENCLAW_QA_TELEGRAM_GROUP_ID - числовой id чата (строка).
• OPENCLAW_QA_TELEGRAM_DRIVER_BOT_TOKEN
• OPENCLAW_QA_TELEGRAM_SUT_BOT_TOKEN

• telegram-canary
• telegram-mention-gating
• telegram-mentioned-message-reply
• telegram-help-command
• telegram-commands-command
• telegram-tools-compact-command
• telegram-whoami-command
• telegram-status-command
• telegram-repeated-command-authorization
• telegram-other-bot-command-gating
• telegram-context-command
• telegram-current-session-status-tool
• telegram-reply-chain-exact-marker
• telegram-stream-final-single-message
• telegram-long-final-reuses-preview
• telegram-long-final-three-chunks

• telegram-qa-report.md
• qa-evidence.json - записи evidence для проверок live-транспорта, включая поля profile, coverage, provider, channel, artifacts, result и RTT.

OPENCLAW_QA_CREDENTIAL_SOURCE=convex \
pnpm test:docker:npm-telegram-live

​

QA Discord

pnpm openclaw qa discord

• OPENCLAW_QA_DISCORD_GUILD_ID
• OPENCLAW_QA_DISCORD_CHANNEL_ID
• OPENCLAW_QA_DISCORD_DRIVER_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_BOT_TOKEN
• OPENCLAW_QA_DISCORD_SUT_APPLICATION_ID - должен совпадать с id пользователя SUT-бота, возвращенным Discord (иначе lane быстро завершится ошибкой).

• OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1 сохраняет тела сообщений в артефактах observed-message.
• OPENCLAW_QA_DISCORD_VOICE_CHANNEL_ID выбирает голосовой/stage-канал для discord-voice-autojoin; без него сценарий выбирает первый видимый для SUT-бота голосовой/stage-канал.

• discord-canary
• discord-mention-gating
• discord-native-help-command-registration
• discord-voice-autojoin - opt-in голосовой сценарий. Запускается отдельно, включает channels.discord.voice.autoJoin и проверяет, что текущее голосовое состояние SUT-бота в Discord соответствует целевому голосовому/stage-каналу. Учетные данные Convex Discord могут включать необязательный voiceChannelId; иначе runner обнаруживает первый видимый голосовой/stage-канал в guild.
• discord-status-reactions-tool-only - opt-in Mantis-сценарий. Запускается отдельно, потому что переводит SUT в always-on режим ответов guild только через tools с messages.statusReactions.enabled=true, затем захватывает REST timeline реакций и визуальные артефакты HTML/PNG. Отчеты Mantis before/after также сохраняют предоставленные сценарием MP4-артефакты как baseline.mp4 и candidate.mp4.

pnpm openclaw qa discord \
  --scenario discord-voice-autojoin \
  --provider-mode mock-openai

pnpm openclaw qa discord \
  --scenario discord-status-reactions-tool-only \
  --provider-mode live-frontier \
  --model openai/gpt-5.5 \
  --alt-model openai/gpt-5.5 \
  --fast

• discord-qa-report.md
• qa-evidence.json - записи evidence для проверок live-транспорта.
• discord-qa-observed-messages.json - тела редактируются, если не задан OPENCLAW_QA_DISCORD_CAPTURE_CONTENT=1.
• discord-qa-reaction-timelines.json и discord-status-reactions-tool-only-timeline.png, когда запускается сценарий status-reaction.

​

QA Slack

pnpm openclaw qa slack

• OPENCLAW_QA_SLACK_CHANNEL_ID
• OPENCLAW_QA_SLACK_DRIVER_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_BOT_TOKEN
• OPENCLAW_QA_SLACK_SUT_APP_TOKEN

• OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1 сохраняет тела сообщений в артефактах observed-message.
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR включает визуальные approval checkpoints для Mantis. Runner записывает <scenario>.pending.json и <scenario>.resolved.json, затем ждет соответствующие файлы .ack.json.
• OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_TIMEOUT_MS переопределяет таймаут подтверждения checkpoint. Значение по умолчанию: 120000.

• slack-canary
• slack-mention-gating
• slack-allowlist-block
• slack-top-level-reply-shape
• slack-restart-resume
• slack-thread-follow-up
• slack-thread-isolation
• slack-approval-exec-native - opt-in сценарий нативного Slack approval для exec. Запрашивает exec approval через Gateway, проверяет, что сообщение Slack содержит нативные кнопки approval, разрешает его и проверяет обновление Slack после разрешения.
• slack-approval-plugin-native - opt-in сценарий нативного Slack Plugin approval. Включает пересылку exec и Plugin approval вместе, чтобы Plugin events не подавлялись маршрутизацией exec approval, затем проверяет тот же pending/resolved путь нативного Slack UI.

• slack-qa-report.md
• qa-evidence.json - записи evidence для проверок live-транспорта.
• slack-qa-observed-messages.json - тела редактируются, если не задан OPENCLAW_QA_SLACK_CAPTURE_CONTENT=1.
• approval-checkpoints/ - только когда Mantis задает OPENCLAW_QA_SLACK_APPROVAL_CHECKPOINT_DIR; содержит checkpoint JSON, acknowledgement JSON и screenshots pending/resolved.

​

Настройка рабочего пространства Slack

• channelId - id Cxxxxxxxxxx канала, куда приглашены оба бота. Используйте выделенный канал; lane публикует сообщения при каждом запуске.
• driverBotToken - токен бота (xoxb-...) приложения Driver.
• sutBotToken - токен бота (xoxb-...) приложения SUT, которое должно быть отдельным приложением Slack, отличным от driver, чтобы id его bot user был уникальным.
• sutAppToken - app-level token (xapp-...) приложения SUT с connections:write, используемый Socket Mode, чтобы приложение SUT могло получать события.

{
  "display_information": {
    "name": "OpenClaw QA Driver",
    "description": "Test driver bot for OpenClaw QA Slack live lane"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA Driver",
      "always_online": true
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": ["chat:write", "channels:history", "groups:history", "users:read"]
    }
  },
  "settings": {
    "socket_mode_enabled": false
  }
}

{
  "display_information": {
    "name": "OpenClaw QA SUT",
    "description": "OpenClaw QA SUT connector for OpenClaw"
  },
  "features": {
    "bot_user": {
      "display_name": "OpenClaw QA SUT",
      "always_online": true
    },
    "app_home": {
      "home_tab_enabled": true,
      "messages_tab_enabled": true,
      "messages_tab_read_only_enabled": false
    }
  },
  "oauth_config": {
    "scopes": {
      "bot": [
        "app_mentions:read",
        "assistant:write",
        "channels:history",
        "channels:read",
        "chat:write",
        "commands",
        "emoji:read",
        "files:read",
        "files:write",
        "groups:history",
        "groups:read",
        "im:history",
        "im:read",
        "im:write",
        "mpim:history",
        "mpim:read",
        "mpim:write",
        "pins:read",
        "pins:write",
        "usergroups:read",
        "users:read"
      ]
    }
  },
  "settings": {
    "socket_mode_enabled": true,
    "event_subscriptions": {
      "bot_events": [
        "app_home_opened",
        "app_mention",
        "channel_rename",
        "member_joined_channel",
        "member_left_channel",
        "message.channels",
        "message.groups",
        "message.im",
        "message.mpim",
        "pin_added",
        "pin_removed"
      ]
    }
  }
}

• Установить в рабочее пространство → скопируйте Bot User OAuth Token → он станет sutBotToken.
• Основная информация → Токены уровня приложения → Сгенерировать токен и scopes → добавьте scope connections:write → сохраните → скопируйте значение xapp-... → оно станет sutAppToken.

/invite @OpenClaw QA Driver
/invite @OpenClaw QA SUT

{
  "channelId": "Cxxxxxxxxxx",
  "driverBotToken": "xoxb-...",
  "sutBotToken": "xoxb-...",
  "sutAppToken": "xapp-..."
}

pnpm openclaw qa credentials add \
  --kind slack \
  --payload-file slack-creds.json \
  --note "QA Slack pool seed"

pnpm openclaw qa credentials list --kind slack --status all --json

pnpm openclaw qa slack \
  --credential-source convex \
  --credential-role maintainer \
  --output-dir .artifacts/qa-e2e/slack-local

​

WhatsApp QA

pnpm openclaw qa whatsapp

• OPENCLAW_QA_WHATSAPP_DRIVER_PHONE_E164
• OPENCLAW_QA_WHATSAPP_SUT_PHONE_E164
• OPENCLAW_QA_WHATSAPP_DRIVER_AUTH_ARCHIVE_BASE64
• OPENCLAW_QA_WHATSAPP_SUT_AUTH_ARCHIVE_BASE64

• OPENCLAW_QA_WHATSAPP_GROUP_JID включает групповые сценарии, такие как whatsapp-mention-gating, whatsapp-group-pending-history-context, whatsapp-broadcast-group-fanout, whatsapp-group-activation-always, whatsapp-group-reply-to-bot-triggers, сценарии групповых действий, медиа и опросов, а также whatsapp-group-allowlist-block.
• OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1 сохраняет тела сообщений в артефактах observed-message.

• Базовая проверка и фильтрация групп: whatsapp-canary, whatsapp-pairing-block, whatsapp-mention-gating, whatsapp-group-pending-history-context, whatsapp-group-activation-always, whatsapp-group-reply-to-bot-triggers, whatsapp-top-level-reply-shape, whatsapp-restart-resume, whatsapp-group-allowlist-block.
• Нативные команды: whatsapp-help-command, whatsapp-status-command, whatsapp-commands-command, whatsapp-tools-compact-command, whatsapp-whoami-command, whatsapp-context-command, whatsapp-native-new-command.
• Поведение ответов и финального вывода: whatsapp-tool-only-usage-footer, whatsapp-reply-to-message, whatsapp-group-reply-to-message, whatsapp-reply-to-mode-batched, whatsapp-reply-context-isolation, whatsapp-reply-delivery-shape, whatsapp-stream-final-message-accounting.
• Действия с сообщениями на пользовательском пути: whatsapp-agent-message-action-react начинается с реального DM от драйвера, позволяет модели вызвать инструмент message и наблюдает нативную реакцию WhatsApp. whatsapp-agent-message-action-upload-file использует тот же подход для message(action=upload-file) и наблюдает нативные медиа WhatsApp. whatsapp-group-agent-message-action-react и whatsapp-group-agent-message-action-upload-file доказывают те же видимые пользователю действия в реальной группе WhatsApp.
• Групповая рассылка: whatsapp-broadcast-group-fanout начинается с одного сообщения WhatsApp в группе с упоминанием и проверяет разные видимые ответы от main и qa-second.
• Активация в группе: whatsapp-group-activation-always меняет реальную групповую сессию на /activation always, доказывает, что групповое сообщение без упоминания будит агента, затем восстанавливает /activation mention. whatsapp-group-reply-to-bot-triggers создает ответ бота, отправляет на него нативный цитированный ответ без явного упоминания и проверяет, что агент просыпается из этого контекста ответа.
• Входящие медиа и структурированные сообщения: whatsapp-inbound-image-caption, whatsapp-audio-preflight, whatsapp-inbound-structured-messages, whatsapp-group-audio-gating, whatsapp-inbound-reaction-no-trigger. Они отправляют через драйвер реальные события WhatsApp для изображений, аудио, документов, геолокаций, контактов, стикеров и реакций.
• Прямые проверки контракта Gateway: whatsapp-outbound-media-matrix, whatsapp-outbound-document-preserves-filename, whatsapp-outbound-poll, whatsapp-group-outbound-media, whatsapp-group-outbound-poll, whatsapp-message-actions, whatsapp-reply-context-isolation, whatsapp-reply-delivery-shape. Они намеренно обходят prompting модели и доказывают детерминированные контракты Gateway/канала send, poll и message.action.
• Покрытие контроля доступа: whatsapp-access-control-dm-open, whatsapp-access-control-dm-disabled, whatsapp-access-control-group-open, whatsapp-access-control-group-disabled, whatsapp-group-allowlist-block.
• Нативные подтверждения: whatsapp-approval-exec-deny-native, whatsapp-approval-exec-native, whatsapp-approval-exec-reaction-native, whatsapp-approval-exec-group-reaction-native, whatsapp-approval-plugin-native.
• Реакции статуса: whatsapp-status-reactions, whatsapp-status-reaction-lifecycle.

• whatsapp-qa-report.md
• qa-evidence.json - записи доказательств для live-проверок транспорта.
• whatsapp-qa-observed-messages.json - тела редактируются, если не задано OPENCLAW_QA_WHATSAPP_CAPTURE_CONTENT=1.

​

Пул учетных данных Convex

• Telegram (kind: "telegram"): { groupId: string, driverToken: string, sutToken: string } - groupId должен быть числовой строкой chat-id.
• Реальный пользователь Telegram (kind: "telegram-user"): { groupId: string, sutToken: string, testerUserId: string, testerUsername: string, telegramApiId: string, telegramApiHash: string, tdlibDatabaseEncryptionKey: string, tdlibArchiveBase64: string, tdlibArchiveSha256: string, desktopTdataArchiveBase64: string, desktopTdataArchiveSha256: string } - только подтверждение Mantis Telegram Desktop. Общие контуры QA Lab не должны получать этот тип.
• Discord (kind: "discord"): { guildId: string, channelId: string, driverBotToken: string, sutBotToken: string, sutApplicationId: string }.
• WhatsApp (kind: "whatsapp"): { driverPhoneE164: string, sutPhoneE164: string, driverAuthArchiveBase64: string, sutAuthArchiveBase64: string, groupJid?: string } - номера телефонов должны быть разными строками E.164.

​

Сиды на основе репозитория

• qa/scenarios/index.yaml
• qa/scenarios/<theme>/*.yaml

• верхнеуровневый title
• метаданные scenario
• необязательные метаданные категории, возможности, контура и риска в scenario
• ссылки на документацию и код в scenario
• необязательные требования к plugin в scenario
• необязательный патч конфигурации Gateway в scenario
• исполняемый верхнеуровневый flow для flow-сценариев или scenario.execution.kind / scenario.execution.path для сценариев Vitest и Playwright

• личные сообщения и чат канала
• поведение тредов
• жизненный цикл действий с сообщениями
• обратные вызовы cron
• воспоминание памяти
• переключение моделей
• передачу подагенту
• чтение репозитория и чтение документации
• одну небольшую задачу сборки, например Lobster Invaders

​

Контуры mock-поставщиков

• mock-openai — сценарно-осведомленный mock OpenClaw. Он остается контуром детерминированного mock по умолчанию для QA на основе репозитория и проверок паритета.
• aimock запускает сервер поставщика на базе AIMock для экспериментального протокола, фикстур, записи/воспроизведения и покрытия хаоса. Он является добавочным и не заменяет сценарный диспетчер mock-openai.

​

Транспортные адаптеры

• qa-lab владеет универсальным выполнением сценариев, параллелизмом воркеров, записью артефактов и отчетностью.
• Транспортный адаптер владеет конфигурацией Gateway, готовностью, входящим и исходящим наблюдением, транспортными действиями и нормализованным состоянием транспорта.
• YAML-файлы сценариев в qa/scenarios/ определяют тестовый запуск; qa-lab предоставляет повторно используемую runtime-поверхность, которая их выполняет.

​

Добавление канала

• корнем команды openclaw qa
• запуском и завершением suite
• параллелизмом воркеров
• записью артефактов
• генерацией отчетов
• выполнением сценариев
• алиасами совместимости для старых сценариев qa-channel

• как openclaw qa <runner> монтируется под общим корнем qa
• как Gateway настраивается для этого транспорта
• как проверяется готовность
• как внедряются входящие события
• как наблюдаются исходящие сообщения
• как открываются транскрипты и нормализованное состояние транспорта
• как выполняются действия на базе транспорта
• как обрабатывается специфичный для транспорта сброс или очистка

1. Оставьте qa-lab владельцем общего корня qa.
2. Реализуйте транспортный раннер на общем шве хоста qa-lab.
3. Держите специфичную для транспорта механику внутри runner plugin или harness канала.
4. Монтируйте раннер как openclaw qa <runner> вместо регистрации конкурирующей корневой команды. Plugins раннеров должны объявлять qaRunners в openclaw.plugin.json и экспортировать соответствующий массив qaRunnerCliRegistrations из runtime-api.ts. Держите runtime-api.ts легким; ленивые CLI и выполнение раннера должны оставаться за отдельными точками входа.
5. Создайте или адаптируйте YAML-сценарии в тематических директориях qa/scenarios/.
6. Используйте универсальные помощники сценариев для новых сценариев.
7. Сохраняйте работу существующих алиасов совместимости, если репозиторий не выполняет намеренную миграцию.

• Если поведение можно выразить один раз в qa-lab, поместите его в qa-lab.
• Если поведение зависит от одного транспорта канала, держите его в этом runner plugin или plugin harness.
• Если сценарию нужна новая возможность, которую может использовать более одного канала, добавьте универсальный помощник вместо ветки, специфичной для канала, в suite.ts.
• Если поведение имеет смысл только для одного транспорта, оставьте сценарий специфичным для транспорта и явно укажите это в контракте сценария.

​

Имена помощников сценариев

• waitForTransportReady
• waitForChannelReady
• injectInboundMessage
• injectOutboundMessage
• waitForTransportOutboundMessage
• waitForChannelOutboundMessage
• waitForNoTransportOutbound
• getTransportSnapshot
• readTransportMessage
• readTransportTranscript
• formatTransportTranscript
• resetTransport

​

Отчетность

• Что сработало
• Что не сработало
• Что осталось заблокированным
• Какие последующие сценарии стоит добавить

pnpm openclaw qa character-eval \
  --model openai/gpt-5.5,thinking=medium,fast \
  --model openai/gpt-5.2,thinking=xhigh \
  --model openai/gpt-5,thinking=xhigh \
  --model anthropic/claude-opus-4-8,thinking=high \
  --model anthropic/claude-sonnet-4-6,thinking=high \
  --model zai/glm-5.1,thinking=high \
  --model moonshot/kimi-k2.5,thinking=high \
  --model google/gemini-3.1-pro-preview,thinking=high \
  --judge-model openai/gpt-5.5,thinking=xhigh,fast \
  --judge-model anthropic/claude-opus-4-8,thinking=high \
  --blind-judge-models \
  --concurrency 16 \
  --judge-concurrency 16

​

Связанные документы

• Матрица QA
• Оценочная карта зрелости
• Пакет бенчмарков персонального агента
• QA Channel
• Тестирование
• Панель мониторинга