Principes fondamentaux
Une voie spécialisée n’améliore le débit que lorsqu’elle réduit la contention sur les véritables goulots d’étranglement :- Verrous de session : une seule exécution doit modifier une session donnée à la fois.
- Capacité globale du modèle : toutes les exécutions de conversation visibles partagent toujours les limites du fournisseur.
- Capacité des outils : les opérations dans le shell, le navigateur, le réseau et le dépôt peuvent être plus lentes que le tour du modèle lui-même.
- Budget de contexte : les longues transcriptions ralentissent chaque tour ultérieur et réduisent sa précision.
- Ambiguïté de responsabilité : plusieurs agents effectuant la même tâche gaspillent de la capacité.
Déploiement recommandé
Phase 1 : contrats de voie et travaux lourds en arrière-plan
Attribuez à chaque voie un contrat écrit dans son espace de travail et son invite système :- Objectif : le travail dont cette voie est responsable.
- Non-objectifs : le travail qu’elle doit transmettre au lieu de tenter de l’effectuer.
- Budget de conversation : les réponses rapides restent dans la conversation ; les tâches longues font l’objet d’un bref accusé de réception, puis sont exécutées par un sous-agent ou une tâche en arrière-plan.
- Règle de transfert : lorsqu’une autre voie est responsable du travail, indiquez où il doit être envoyé et fournissez un résumé de transfert concis.
- Règle relative aux risques des outils : privilégiez la surface d’outils minimale permettant d’accomplir la tâche.
Phase 2 : contrôles de priorité et de concurrence
Ajustez la capacité de la file d’attente et du modèle en fonction de la valeur opérationnelle de chaque voie :Phase 3 : coordinateur / contrôleur de trafic
Ajoutez un modèle de coordination léger une fois que plusieurs voies sont actives :- Suivre les tâches et les responsables actifs de chaque voie.
- Détecter les demandes en double entre les groupes.
- Acheminer les résumés de transfert entre les voies.
- Ne présenter que les blocages, les résultats terminés et les décisions que l’utilisateur doit prendre.