Paket tolok ukur agen pribadi

Personal Agent Benchmark Pack adalah paket skenario QA kecil berbasis repositori untuk alur kerja asisten pribadi lokal. Paket ini bukan tolok ukur model generik dan tidak memerlukan runner baru: paket ini menggunakan kembali tumpukan QA privat (ikhtisar QA), kanal QA sintetis, dan katalog YAML qa/scenarios yang sudah ada.

Skenario

Sepuluh skenario, yang didefinisikan dalam qa/scenarios/personal/*.yaml:

Id skenario	Pemeriksaan
`personal-reminder-roundtrip`	Pengingat pribadi palsu melalui pengiriman cron lokal
`personal-channel-thread-reply`	Perutean DM palsu dan balasan utas melalui `qa-channel`
`personal-memory-preference-recall`	Pengingatan kembali preferensi palsu dari berkas memori ruang kerja QA sementara
`personal-redaction-no-secret-leak`	Pemeriksaan agar rahasia palsu tidak dikembalikan
`personal-tool-safety-followthrough`	Tindak lanjut alat berbasis pembacaan yang aman setelah percakapan singkat bergaya persetujuan
`personal-approval-denial-stop`	Perilaku berhenti saat persetujuan ditolak untuk permintaan pembacaan lokal yang sensitif
`personal-task-followthrough-status`	Pelaporan status tugas berbasis bukti yang memisahkan status tertunda, terblokir, dan selesai
`personal-share-safe-diagnostics-artifact`	Artefak diagnostik yang aman dibagikan, mempertahankan status berguna tanpa menyertakan konten pribadi mentah
`personal-no-fake-progress`	Klaim penyelesaian berbasis bukti yang menghindari progres palsu sebelum tersedia bukti lokal
`personal-failure-recovery`	Pemulihan kegagalan yang melaporkan status parsial dan menjaga batas percobaan ulang tetap jelas

Metadata paket yang dapat dibaca mesin (daftar id, judul, deskripsi) berada di extensions/qa-lab/src/scenario-packs.ts sebagai QA_PERSONAL_AGENT_SCENARIO_IDS. Jalankan paket dengan --pack personal-agent:

OPENCLAW_ENABLE_PRIVATE_QA_CLI=1 pnpm openclaw qa suite \
  --provider-mode mock-openai \
  --pack personal-agent \
  --concurrency 1

--pack bersifat aditif dengan flag --scenario yang diulang. Skenario eksplisit dijalankan terlebih dahulu, lalu skenario paket dijalankan sesuai urutan QA_PERSONAL_AGENT_SCENARIO_IDS dengan duplikat dihapus. Paket ini menargetkan qa-channel dengan mock-openai atau jalur penyedia QA lokal lainnya. Jangan arahkan paket ini ke layanan obrolan langsung atau akun pribadi nyata.

Model Privasi

Skenario hanya menggunakan pengguna palsu, preferensi palsu, rahasia palsu, dan ruang kerja Gateway QA sementara yang dibuat oleh suite. Skenario tidak boleh membaca atau menulis memori pengguna OpenClaw nyata, sesi, kredensial, agen peluncuran, konfigurasi global, atau status Gateway langsung. Artefak tetap berada di direktori artefak suite QA yang sudah ada dan diperlakukan seperti keluaran pengujian. Pemeriksaan penyuntingan menggunakan penanda palsu agar kegagalan aman untuk diperiksa dan dilaporkan dalam isu.

Memperluas paket

Tambahkan kasus .yaml baru di bawah qa/scenarios/personal/, lalu tambahkan id skenario ke QA_PERSONAL_AGENT_SCENARIO_IDS. Jaga agar setiap kasus tetap kecil, lokal, deterministik dalam mock-openai, dan berfokus pada satu perilaku asisten pribadi. Kandidat tindak lanjut yang baik: pemeriksaan ekspor lintasan yang disunting, pemeriksaan alur kerja Plugin khusus lokal. Hindari menambahkan runner, Plugin, dependensi, transportasi langsung, atau penilai model baru hingga katalog skenario memiliki cukup kasus stabil untuk membenarkan permukaan tersebut.

Fundamentals

Sessions and memory

Multi-agent

Messages and delivery

Paket tolok ukur agen pribadi

Skenario

Model Privasi

Memperluas paket

​Skenario

​Model Privasi

​Memperluas paket

Skenario

Model Privasi

Memperluas paket