Temel ilkeler
Bir uzman hattı, yalnızca gerçek darboğazlardaki çekişmeyi azalttığında iş hacmini iyileştirir:- Oturum kilitleri: belirli bir oturumu aynı anda yalnızca bir çalıştırma değiştirmelidir.
- Genel model kapasitesi: görünür tüm sohbet çalıştırmaları yine sağlayıcı sınırlarını paylaşır.
- Araç kapasitesi: kabuk, tarayıcı, ağ ve depo çalışmaları model turunun kendisinden daha yavaş olabilir.
- Bağlam bütçesi: uzun dökümler gelecekteki her turu daha yavaş ve daha az odaklı hâle getirir.
- Sahiplik belirsizliği: aynı işi yapan yinelenen agent’lar kapasiteyi boşa harcar.
Önerilen kullanıma alma planı
Aşama 1: hat sözleşmeleri + arka planda ağır işler
Her hatta, çalışma alanında ve sistem isteminde yazılı bir sözleşme verin:- Amaç: bu hattın sahip olduğu çalışma.
- Hedef dışı işler: girişimde bulunmak yerine devretmesi gereken çalışmalar.
- Sohbet bütçesi: hızlı yanıtlar sohbette kalır; uzun görevler kısaca kabul edilir, ardından bir arka plan alt agent’ında veya görevinde çalıştırılır.
- Devir kuralı: çalışma başka bir hatta ait olduğunda, nereye gitmesi gerektiğini belirtin ve kısa bir devir özeti sağlayın.
- Araç riski kuralı: işi yapabilecek en küçük araç yüzeyini tercih edin.
Aşama 2: öncelik ve eşzamanlılık denetimleri
Kuyruk ve model kapasitesini her hattın iş değerine göre ayarlayın:Aşama 3: koordinatör / trafik denetleyicisi
Birden fazla hat etkin olduğunda küçük bir koordinatör düzeni ekleyin:- Etkin hat görevlerini ve sahiplerini takip edin.
- Gruplar arasındaki yinelenen istekleri tespit edin.
- Devir özetlerini hatlar arasında yönlendirin.
- Yalnızca engelleri, tamamlanan sonuçları ve insanın vermesi gereken kararları gösterin.