Naar hoofdinhoud gaan
Het Personal Agent Benchmark Pack is een klein, door een repo ondersteund QA-scenariopakket voor lokale workflows voor persoonlijke assistenten. Het is geen generieke modelbenchmark en vereist geen nieuwe runner. Het pakket hergebruikt de private QA-stack die wordt beschreven in QA-overzicht, het synthetische QA-kanaal en de bestaande YAML-catalogus qa/scenarios. Het eerste pakket is bewust smal:
  • nep-persoonlijke herinneringen via lokale Cron-bezorging
  • nep-DM- en thread-antwoordroutering via qa-channel
  • nep-voorkeursherinnering vanuit de tijdelijke geheugenbestanden van de QA-werkruimte
  • nep-controles dat geheimen niet worden herhaald
  • veilige, door leesbewijs ondersteunde toolopvolging na een korte goedkeuringsachtige beurt
  • stopgedrag bij geweigerde goedkeuring voor een gevoelige lokale leesaanvraag
  • door bewijs ondersteunde taakstatusrapportage die in behandeling, geblokkeerd en voltooid gescheiden houdt
  • deelveilige diagnostische artefacten die nuttige status behouden en ruwe persoonlijke inhoud weglaten
  • door bewijs ondersteunde voltooiingsclaims die nepvoortgang vermijden voordat lokaal bewijs bestaat
  • foutherstel dat gedeeltelijke status rapporteert en retry-grenzen duidelijk houdt

Scenario’s

De machineleesbare pakketmetadata staat in extensions/qa-lab/src/scenario-packs.ts. Voer het pakket uit met --pack personal-agent:
OPENCLAW_ENABLE_PRIVATE_QA_CLI=1 pnpm openclaw qa suite \
  --provider-mode mock-openai \
  --pack personal-agent \
  --concurrency 1
--pack is additief met herhaalde --scenario-vlaggen. Expliciete scenario’s worden eerst uitgevoerd, daarna worden de pakketscenario’s uitgevoerd in de volgorde van QA_PERSONAL_AGENT_SCENARIO_IDS, met duplicaten verwijderd. Het pakket is ontworpen voor qa-channel met mock-openai of een andere lokale QA provider-lane. Het mag niet worden gericht op live chatservices of echte persoonlijke accounts.

Privacymodel

De scenario’s gebruiken alleen nepgebruikers, nepvoorkeuren, nepgeheimen en de tijdelijke QA-Gateway-werkruimte die door de suite wordt gemaakt. Ze mogen geen echt OpenClaw-gebruikersgeheugen, sessies, referenties, launch agents, globale configuraties of live Gateway-status lezen of schrijven. Artefacten blijven onder de bestaande artefactmap van de QA-suite en moeten worden behandeld als testuitvoer. Redactiecontroles gebruiken nepmarkeringen, zodat fouten veilig kunnen worden geïnspecteerd en in issues kunnen worden vastgelegd.

Het Pakket Uitbreiden

Voeg nieuwe .yaml-cases toe onder qa/scenarios/personal/ en voeg daarna de scenario-id toe aan QA_PERSONAL_AGENT_SCENARIO_IDS. Houd elke case klein, lokaal, deterministisch in mock-openai en gericht op één gedrag van een persoonlijke assistent. Goede kandidaten voor vervolgwerk:
  • controles voor geredigeerde trajectexport
  • controles voor lokale-only Plugin-workflows
Voeg geen nieuwe runner, Plugin, afhankelijkheid, live transport of modelbeoordelaar toe totdat de scenariocatalogus genoeg stabiele cases heeft om dat oppervlak te rechtvaardigen.