Prinsip dasar
Jalur spesialis hanya meningkatkan throughput jika mengurangi perebutan pada hambatan yang sebenarnya:- Kunci sesi: hanya satu proses yang boleh mengubah sesi tertentu pada satu waktu.
- Kapasitas model global: semua proses percakapan yang terlihat tetap berbagi batas penyedia.
- Kapasitas alat: pekerjaan shell, peramban, jaringan, dan repositori bisa lebih lambat daripada giliran model itu sendiri.
- Anggaran konteks: transkrip panjang membuat setiap giliran berikutnya lebih lambat dan kurang terfokus.
- Ambiguitas kepemilikan: agen duplikat yang mengerjakan tugas yang sama membuang kapasitas.
Peluncuran yang direkomendasikan
Fase 1: kontrak jalur + pekerjaan berat di latar belakang
Berikan setiap jalur kontrak tertulis di ruang kerja dan prompt sistemnya:- Tujuan: pekerjaan yang menjadi tanggung jawab jalur ini.
- Bukan tujuan: pekerjaan yang seharusnya dialihkan, bukan dicoba sendiri.
- Anggaran percakapan: jawaban cepat tetap dalam percakapan; tugas panjang ditanggapi secara singkat, lalu dijalankan dalam subagen atau tugas latar belakang.
- Aturan pengalihan: ketika jalur lain memiliki pekerjaan tersebut, sebutkan ke mana pekerjaan itu harus diarahkan dan berikan ringkasan pengalihan yang ringkas.
- Aturan risiko alat: pilih cakupan alat terkecil yang dapat menyelesaikan pekerjaan.
Fase 2: kontrol prioritas dan konkurensi
Sesuaikan kapasitas antrean dan model berdasarkan nilai bisnis setiap jalur:Fase 3: koordinator / pengatur lalu lintas
Tambahkan pola koordinator kecil setelah beberapa jalur aktif:- Lacak tugas dan pemilik jalur yang aktif.
- Deteksi permintaan duplikat di berbagai grup.
- Rutekan ringkasan pengalihan antarlajur.
- Tampilkan hanya penghambat, hasil yang telah selesai, dan keputusan yang harus dibuat manusia.