第一原則
只有在專家通道能減少真正瓶頸的爭用時,才會提升吞吐量:- 工作階段鎖定:一次應該只有一個執行能修改指定工作階段。
- 全域模型容量:所有可見的聊天執行仍會共用供應商限制。
- 工具容量:shell、瀏覽器、網路與儲存庫作業可能比模型回合本身更慢。
- 上下文預算:冗長逐字稿會讓每個未來回合更慢且更不聚焦。
- 擁有權不明確:重複代理做同一份工作會浪費容量。
建議推出方式
階段 1:通道契約 + 背景繁重工作
在每個通道的工作區與系統提示中提供書面契約:- 目的:此通道擁有的工作。
- 非目標:它應該交接而非嘗試的工作。
- 聊天預算:快速答案留在聊天中;長任務先簡短確認, 然後在背景子代理或任務中執行。
- 交接規則:當另一個通道擁有該工作時,說明應該送往何處, 並提供精簡的交接摘要。
- 工具風險規則:偏好能完成工作的最小工具介面。
階段 2:優先順序與並行控制
圍繞每個通道的商業價值調整佇列與模型容量:階段 3:協調器 / 流量控制器
在多個通道啟用後,加入小型協調器模式:- 追蹤使用中的通道任務與擁有者。
- 偵測群組間的重複請求。
- 在通道之間路由交接摘要。
- 只呈現阻塞、完成結果,以及人類必須做出的決策。