LiteLLM

LiteLLM 100+ मॉडल प्रदाताओं के लिए एकीकृत API वाला एक ओपन-सोर्स LLM Gateway है। OpenClaw की कॉन्फ़िगरेशन बदले बिना केंद्रीकृत लागत ट्रैकिंग, लॉगिंग, खर्च सीमाओं वाली वर्चुअल कुंजियों और बैकएंड फ़ेलओवर के लिए OpenClaw को LiteLLM के माध्यम से रूट करें।

त्वरित शुरुआत

ऑनबोर्डिंग (अनुशंसित)
मैन्युअल सेटअप

openclaw onboard --auth-choice litellm-api-key

रिमोट प्रॉक्सी के साथ गैर-इंटरैक्टिव सेटअप के लिए, प्रॉक्सी URL स्पष्ट रूप से दें:

openclaw onboard --non-interactive --accept-risk --auth-choice litellm-api-key \
  --litellm-api-key "$LITELLM_API_KEY" --custom-base-url "https://litellm.example/v1"

LiteLLM प्रॉक्सी शुरू करें

pip install 'litellm[proxy]'
litellm --model claude-opus-4-6

OpenClaw को LiteLLM की ओर निर्देशित करें

export LITELLM_API_KEY="your-litellm-key"
openclaw

कॉन्फ़िगरेशन

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "claude-opus-4-6",
            name: "Claude Opus 4.6",
            reasoning: true,
            input: ["text", "image"],
            contextWindow: 200000,
            maxTokens: 64000,
          },
          {
            id: "gpt-4o",
            name: "GPT-4o",
            reasoning: false,
            input: ["text", "image"],
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
  agents: {
    defaults: {
      model: { primary: "litellm/claude-opus-4-6" },
    },
  },
}

ऑनबोर्डिंग द्वारा लिखा जाने वाला डिफ़ॉल्ट मॉडल litellm/claude-opus-4-6 है।

इमेज जनरेशन

LiteLLM, OpenAI-संगत /images/generations और /images/edits रूट के माध्यम से image_generate टूल को बैक कर सकता है। डिफ़ॉल्ट इमेज मॉडल gpt-image-2 है; किसी अन्य को agents.defaults.mediaModels.image के अंतर्गत कॉन्फ़िगर करें:

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
      },
    },
  },
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "litellm/gpt-image-2",
        timeoutMs: 180_000,
      },
    },
  },
}

लूपबैक LiteLLM URL (http://localhost:4000, 127.0.0.1, ::1, host.docker.internal) वैश्विक निजी-नेटवर्क ओवरराइड के बिना काम करते हैं। LAN पर होस्ट किए गए प्रॉक्सी के लिए, models.providers.litellm.request.allowPrivateNetwork: true सेट करें, क्योंकि API कुंजी उस होस्ट को भेजी जाती है।

उन्नत

वर्चुअल कुंजियाँ

खर्च सीमाओं के साथ OpenClaw के लिए एक समर्पित कुंजी बनाएँ:

curl -X POST "http://localhost:4000/key/generate" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "key_alias": "openclaw",
    "max_budget": 50.00,
    "budget_duration": "monthly"
  }'

जनरेट की गई कुंजी को LITELLM_API_KEY के रूप में उपयोग करें।

मॉडल रूटिंग

LiteLLM मॉडल अनुरोधों को अलग-अलग बैकएंड पर रूट कर सकता है। अपनी LiteLLM config.yaml में कॉन्फ़िगर करें:

model_list:
  - model_name: claude-opus-4-6
    litellm_params:
      model: claude-opus-4-6
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: gpt-4o
    litellm_params:
      model: gpt-4o
      api_key: os.environ/OPENAI_API_KEY

OpenClaw claude-opus-4-6 का अनुरोध करना जारी रखता है; LiteLLM रूटिंग संभालता है।

उपयोग देखना

# कुंजी की जानकारी
curl "http://localhost:4000/key/info" \
  -H "Authorization: Bearer sk-litellm-key"

# खर्च लॉग
curl "http://localhost:4000/spend/logs" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY"

प्रॉक्सी व्यवहार संबंधी टिप्पणियाँ

LiteLLM डिफ़ॉल्ट रूप से http://localhost:4000 पर चलता है।
OpenClaw, LiteLLM के प्रॉक्सी-शैली वाले OpenAI-संगत /v1 एंडपॉइंट के माध्यम से कनेक्ट होता है।
कॉन्फ़िगर किए गए LiteLLM बेस URL के माध्यम से केवल नेटिव OpenAI के लिए अनुरोध आकार-निर्धारण लागू नहीं होता: न service_tier, न Responses store, न प्रॉम्प्ट-कैश संकेत और न OpenAI रीजनिंग-एफ़र्ट पेलोड आकार-निर्धारण।
छिपे हुए OpenClaw एट्रिब्यूशन हेडर (originator, version, User-Agent) केवल सत्यापित नेटिव OpenAI एंडपॉइंट को भेजे जाते हैं, इसलिए उन्हें कस्टम LiteLLM बेस URL पर इंजेक्ट नहीं किया जाता।

सामान्य प्रदाता कॉन्फ़िगरेशन और फ़ेलओवर व्यवहार के लिए, मॉडल प्रदाता देखें।

LiteLLM दस्तावेज़

आधिकारिक LiteLLM दस्तावेज़ और API संदर्भ।

मॉडल चयन

सभी प्रदाताओं, मॉडल संदर्भों और फ़ेलओवर व्यवहार का अवलोकन।

कॉन्फ़िगरेशन

संपूर्ण कॉन्फ़िगरेशन संदर्भ।

मॉडल

मॉडल चुनने और कॉन्फ़िगर करने का तरीका।

Overview

Concepts and configuration

Providers

त्वरित शुरुआत

कॉन्फ़िगरेशन

इमेज जनरेशन

उन्नत

संबंधित

LiteLLM दस्तावेज़

मॉडल चयन

कॉन्फ़िगरेशन

मॉडल

​त्वरित शुरुआत

​कॉन्फ़िगरेशन

​इमेज जनरेशन

​उन्नत

​संबंधित

LiteLLM दस्तावेज़

मॉडल चयन

कॉन्फ़िगरेशन

मॉडल

त्वरित शुरुआत

कॉन्फ़िगरेशन

इमेज जनरेशन

उन्नत

संबंधित