openai-completions प्रोवाइडर फ़ैमिली का उपयोग करके SGLang से जुड़ता है।
जब आप
SGLANG_API_KEY के साथ ऑप्ट इन करते हैं, तो OpenClaw SGLang से उपलब्ध मॉडलों की स्वतः खोज भी करता है। कस्टम SGLang बेस URL कॉन्फ़िगर करते समय खोज को डायनेमिक बनाए रखने के लिए agents.defaults.models में sglang/* का उपयोग करें। नीचे मॉडल खोज (अंतर्निहित प्रोवाइडर) देखें।
शुरू करना
1
SGLang शुरू करें
OpenAI-संगत सर्वर के साथ SGLang लॉन्च करें। आपके बेस URL को
/v1 एंडपॉइंट उपलब्ध कराने चाहिए (उदाहरण के लिए /v1/models, /v1/chat/completions)। SGLang
आम तौर पर यहाँ चलता है:http://127.0.0.1:30000/v1
2
API कुंजी सेट करें
यदि आपके सर्वर पर प्रमाणीकरण कॉन्फ़िगर नहीं है, तो कोई भी मान काम करेगा:
3
ऑनबोर्डिंग चलाएँ या सीधे मॉडल सेट करें
मॉडल खोज (अंतर्निहित प्रोवाइडर)
जबSGLANG_API_KEY सेट हो (या कोई प्रमाणीकरण प्रोफ़ाइल मौजूद हो) और आप
models.providers.sglang को परिभाषित नहीं करते हैं, तो OpenClaw यह क्वेरी करता है:
GET http://127.0.0.1:30000/v1/models
यदि आप
models.providers.sglang को स्पष्ट रूप से सेट करते हैं, तो OpenClaw डिफ़ॉल्ट रूप से आपके घोषित
मॉडलों का उपयोग करता है। जब आप चाहते हैं कि OpenClaw उस कॉन्फ़िगर किए गए प्रोवाइडर के
/models एंडपॉइंट को क्वेरी करे और सभी विज्ञापित SGLang मॉडल शामिल करे, तब
agents.defaults.models में "sglang/*": {} जोड़ें।स्पष्ट कॉन्फ़िगरेशन (मैन्युअल मॉडल)
स्पष्ट कॉन्फ़िगरेशन का उपयोग तब करें, जब:- SGLang किसी अलग होस्ट/पोर्ट पर चलता हो।
- आप
contextWindow/maxTokensमान नियत करना चाहते हों। - आपके सर्वर को वास्तविक API कुंजी की आवश्यकता हो (या आप हेडर नियंत्रित करना चाहते हों)।
उन्नत कॉन्फ़िगरेशन
प्रॉक्सी-जैसा व्यवहार
प्रॉक्सी-जैसा व्यवहार
SGLang को मूल OpenAI एंडपॉइंट के बजाय प्रॉक्सी-जैसे OpenAI-संगत
/v1 बैकएंड के रूप में माना जाता है।समस्या निवारण
समस्या निवारण
सर्वर तक नहीं पहुँचा जा सकतासत्यापित करें कि सर्वर चल रहा है और प्रतिक्रिया दे रहा है:प्रमाणीकरण त्रुटियाँयदि प्रमाणीकरण त्रुटियों के कारण अनुरोध विफल होते हैं, तो अपने सर्वर कॉन्फ़िगरेशन से मेल खाने वाला वास्तविक
SGLANG_API_KEY सेट करें या models.providers.sglang के अंतर्गत प्रोवाइडर को
स्पष्ट रूप से कॉन्फ़िगर करें।संबंधित
मॉडल चयन
प्रोवाइडर, मॉडल रेफ़रेंस और फ़ेलओवर व्यवहार चुनना।
कॉन्फ़िगरेशन संदर्भ
प्रोवाइडर प्रविष्टियों सहित पूर्ण कॉन्फ़िगरेशन स्कीमा।