Primeros principios
Un carril especializado solo mejora el rendimiento cuando reduce la contención por los cuellos de botella reales:- Bloqueos de sesión: solo una ejecución debería modificar una sesión determinada a la vez.
- Capacidad global del modelo: todas las ejecuciones de chat visibles siguen compartiendo los límites del proveedor.
- Capacidad de herramientas: el trabajo con shell, navegador, red y repositorio puede ser más lento que el propio turno del modelo.
- Presupuesto de contexto: las transcripciones largas hacen que cada turno futuro sea más lento y menos enfocado.
- Ambigüedad de propiedad: agentes duplicados haciendo el mismo trabajo desperdician capacidad.
Despliegue recomendado
Fase 1: contratos de carril + trabajo pesado en segundo plano
Dale a cada carril un contrato escrito en su espacio de trabajo y prompt del sistema:- Propósito: el trabajo del que este carril es propietario.
- No objetivos: trabajo que debería transferir en lugar de intentar.
- Presupuesto de chat: las respuestas rápidas permanecen en el chat; las tareas largas se reconocen brevemente, y luego se ejecutan en un subagente o tarea en segundo plano.
- Regla de transferencia: cuando otro carril sea propietario del trabajo, indica adónde debería ir y proporciona un resumen compacto de transferencia.
- Regla de riesgo de herramientas: prefiere la superficie de herramientas más pequeña que pueda hacer el trabajo.
Fase 2: controles de prioridad y concurrencia
Ajusta la cola y la capacidad del modelo en torno al valor de negocio de cada carril:Fase 3: coordinador / controlador de tráfico
Añade un pequeño patrón de coordinador cuando haya varios carriles activos:- Haz seguimiento de las tareas y propietarios activos de los carriles.
- Detecta solicitudes duplicadas entre grupos.
- Enruta resúmenes de transferencia entre carriles.
- Muestra solo bloqueadores, resultados completados y decisiones que deba tomar la persona.