기본 원칙
전문 레인은 실제 병목 지점의 경합을 줄일 때만 처리량을 개선합니다.- 세션 잠금: 특정 세션은 한 번에 하나의 실행만 변경해야 합니다.
- 전역 모델 용량: 사용자에게 표시되는 모든 채팅 실행은 여전히 제공자 한도를 공유합니다.
- 도구 용량: 셸, 브라우저, 네트워크 및 저장소 작업은 모델 턴 자체보다 느릴 수 있습니다.
- 컨텍스트 예산: 긴 대화 기록은 이후의 모든 턴을 더 느리고 산만하게 만듭니다.
- 소유권 모호성: 동일한 작업을 수행하는 중복 에이전트는 용량을 낭비합니다.
권장 도입 절차
1단계: 레인 계약 + 무거운 작업의 백그라운드 처리
각 레인의 작업 공간과 시스템 프롬프트에 문서화된 계약을 제공하세요.- 목적: 이 레인이 소유하는 작업입니다.
- 비목표: 이 레인이 직접 시도하지 않고 인계해야 하는 작업입니다.
- 채팅 예산: 빠른 답변은 채팅에서 처리하고, 긴 작업은 간단히 접수한 후 백그라운드 하위 에이전트나 작업으로 실행합니다.
- 인계 규칙: 다른 레인이 작업을 소유하는 경우 작업을 보낼 위치를 알리고 간결한 인계 요약을 제공합니다.
- 도구 위험 규칙: 작업을 수행할 수 있는 가장 작은 도구 범위를 우선 사용합니다.
2단계: 우선순위 및 동시 실행 제어
각 레인의 비즈니스 가치에 맞춰 큐와 모델 용량을 조정하세요.3단계: 코디네이터/트래픽 컨트롤러
여러 레인이 활성화되면 소규모 코디네이터 패턴을 추가하세요.- 활성 레인 작업과 소유자를 추적합니다.
- 그룹 간 중복 요청을 감지합니다.
- 레인 간에 인계 요약을 라우팅합니다.
- 차단 요인, 완료된 결과 및 사람이 결정해야 하는 사항만 표시합니다.