Benchmark-Paket für persönliche Agenten

Das Personal Agent Benchmark Pack ist ein kleines, repositorygestütztes QA-Szenarienpaket für lokale persönliche Assistenz-Workflows. Es ist kein generischer Modell-Benchmark und benötigt keinen neuen Runner: Es verwendet den privaten QA-Stack (QA-Übersicht), den synthetischen QA-Kanal und den vorhandenen qa/scenarios-YAML-Katalog.

Szenarien

Zehn Szenarien, definiert in qa/scenarios/personal/*.yaml:

Szenario-ID	Prüfungen
`personal-reminder-roundtrip`	Simulierte persönliche Erinnerungen über lokale Cron-Zustellung
`personal-channel-thread-reply`	Simuliertes Routing von Direktnachrichten und Thread-Antworten über `qa-channel`
`personal-memory-preference-recall`	Simulierter Abruf von Präferenzen aus den temporären Speicherdateien des QA-Arbeitsbereichs
`personal-redaction-no-secret-leak`	Prüfungen, dass simulierte Geheimnisse nicht ausgegeben werden
`personal-tool-safety-followthrough`	Sichere, lesegestützte Tool-Ausführung nach einer kurzen genehmigungsähnlichen Interaktion
`personal-approval-denial-stop`	Abbruchverhalten bei verweigerter Genehmigung einer sensiblen lokalen Leseanforderung
`personal-task-followthrough-status`	Beleggestützte Aufgabenstatusmeldung, die ausstehend, blockiert und erledigt getrennt hält
`personal-share-safe-diagnostics-artifact`	Sicher teilbare Diagnoseartefakte, die nützliche Statusinformationen beibehalten und persönliche Rohinhalte auslassen
`personal-no-fake-progress`	Beleggestützte Abschlussangaben, die vor dem Vorliegen lokaler Belege keinen Fortschritt vortäuschen
`personal-failure-recovery`	Fehlerbehebung, die den Teilstatus meldet und Wiederholungsgrenzen klar hält

Die maschinenlesbaren Metadaten des Pakets (ID-Liste, Titel, Beschreibung) befinden sich in extensions/qa-lab/src/scenario-packs.ts als QA_PERSONAL_AGENT_SCENARIO_IDS. Führen Sie das Paket mit --pack personal-agent aus:

OPENCLAW_ENABLE_PRIVATE_QA_CLI=1 pnpm openclaw qa suite \
  --provider-mode mock-openai \
  --pack personal-agent \
  --concurrency 1

--pack wirkt additiv mit wiederholten --scenario-Flags. Explizite Szenarien werden zuerst ausgeführt, danach werden die Paketszenarien in der Reihenfolge von QA_PERSONAL_AGENT_SCENARIO_IDS ausgeführt, wobei Duplikate entfernt werden. Das Paket ist für qa-channel mit mock-openai oder eine andere lokale QA-Provider- Lane vorgesehen. Richten Sie es nicht auf Live-Chat-Dienste oder echte persönliche Konten.

Datenschutzmodell

Die Szenarien verwenden ausschließlich simulierte Benutzer, simulierte Präferenzen, simulierte Geheimnisse und den temporären QA-Gateway-Arbeitsbereich, den die Suite erstellt. Sie dürfen keine echten OpenClaw-Benutzerspeicher, Sitzungen, Anmeldedaten, Launch Agents, globalen Konfigurationen oder Live-Gateway-Zustände lesen oder schreiben. Artefakte verbleiben im vorhandenen Artefaktverzeichnis der QA-Suite und werden wie Testausgaben behandelt. Schwärzungsprüfungen verwenden simulierte Marker, sodass Fehler sicher untersucht und in Issues gemeldet werden können.

Paket erweitern

Fügen Sie neue .yaml-Fälle unter qa/scenarios/personal/ hinzu und ergänzen Sie anschließend die Szenario-ID in QA_PERSONAL_AGENT_SCENARIO_IDS. Halten Sie jeden Fall klein, lokal und deterministisch in mock-openai und konzentrieren Sie ihn auf ein Verhalten persönlicher Assistenten. Gute Kandidaten für nachfolgende Erweiterungen: Prüfungen des Exports geschwärzter Trajektorien, Prüfungen rein lokaler Plugin-Workflows. Fügen Sie keinen neuen Runner, kein Plugin, keine Abhängigkeit, keinen Live-Transport und keinen Modell-Judge hinzu, solange der Szenarienkatalog nicht genügend stabile Fälle enthält, die eine solche Oberfläche rechtfertigen.

Fundamentals

Sessions and memory

Multi-agent

Messages and delivery

Benchmark-Paket für persönliche Agenten

Szenarien

Datenschutzmodell

Paket erweitern

​Szenarien

​Datenschutzmodell

​Paket erweitern

Szenarien

Datenschutzmodell

Paket erweitern