स्थानीय मॉडल

​

न्यूनतम हार्डवेयर

​

बैकएंड चुनें

​

LM Studio + बड़ा स्थानीय मॉडल (Responses API)

{
  agents: {
    defaults: {
      model: { primary: "lmstudio/my-local-model" },
      models: {
        "anthropic/claude-opus-4-6": { alias: "Opus" },
        "lmstudio/my-local-model": { alias: "Local" },
      },
    },
  },
  models: {
    mode: "merge",
    providers: {
      lmstudio: {
        baseUrl: "http://127.0.0.1:1234/v1",
        apiKey: "lmstudio",
        api: "openai-responses",
        models: [
          {
            id: "my-local-model",
            name: "Local Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 196608,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

• LM Studio इंस्टॉल करें: https://lmstudio.ai
• उपलब्ध सबसे बड़ा मॉडल बिल्ड डाउनलोड करें (“small”/अत्यधिक क्वांटाइज़ किए गए संस्करणों से बचें), सर्वर शुरू करें और पुष्टि करें कि http://127.0.0.1:1234/v1/models उसे सूचीबद्ध करता है।
• my-local-model को LM Studio में दिखाए गए वास्तविक मॉडल ID से बदलें।
• मॉडल को लोड रखा रहने दें; कोल्ड-लोड प्रारंभिक विलंबता बढ़ाता है।
• यदि आपका LM Studio बिल्ड अलग है, तो contextWindow/maxTokens समायोजित करें।
• WhatsApp के लिए Responses API का ही उपयोग करें, ताकि केवल अंतिम टेक्स्ट भेजा जाए।
• models.mode: "merge" बनाए रखें, ताकि होस्ट किए गए मॉडल फ़ॉलबैक के रूप में उपलब्ध रहें।

​

हाइब्रिड कॉन्फ़िगरेशन: होस्ट किया गया प्राथमिक मॉडल, स्थानीय फ़ॉलबैक

{
  agents: {
    defaults: {
      model: {
        primary: "anthropic/claude-sonnet-4-6",
        fallbacks: ["lmstudio/my-local-model", "anthropic/claude-opus-4-6"],
      },
      models: {
        "anthropic/claude-sonnet-4-6": { alias: "Sonnet" },
        "lmstudio/my-local-model": { alias: "Local" },
        "anthropic/claude-opus-4-6": { alias: "Opus" },
      },
    },
  },
  models: {
    mode: "merge",
    providers: {
      lmstudio: {
        baseUrl: "http://127.0.0.1:1234/v1",
        apiKey: "lmstudio",
        api: "openai-responses",
        models: [
          {
            id: "my-local-model",
            name: "Local Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 196608,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

​

क्षेत्रीय होस्टिंग / डेटा रूटिंग

​

अन्य OpenAI-संगत स्थानीय प्रॉक्सी

{
  agents: {
    defaults: {
      model: { primary: "local/my-local-model" },
    },
  },
  models: {
    mode: "merge",
    providers: {
      local: {
        baseUrl: "http://127.0.0.1:8000/v1",
        apiKey: "sk-local",
        api: "openai-completions",
        timeoutSeconds: 300,
        models: [
          {
            id: "my-local-model",
            name: "Local Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 120000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

• models.providers.mlx.models[].id: "mlx-community/Qwen3-30B-A3B-6bit"
• agents.defaults.model.primary: "mlx/mlx-community/Qwen3-30B-A3B-6bit"

• OpenClaw इन्हें मूल OpenAI एंडपॉइंट नहीं, बल्कि प्रॉक्सी-शैली के OpenAI-संगत रूट मानता है।
• केवल मूल OpenAI के लिए अनुरोध संरचना लागू नहीं होती: न service_tier, न Responses store, न OpenAI रीजनिंग-संगत पेलोड संरचना, न प्रॉम्प्ट-कैश संकेत।
• छिपे हुए OpenClaw एट्रिब्यूशन हेडर (originator, version, User-Agent) कस्टम प्रॉक्सी URL पर प्रविष्ट नहीं किए जाते।

• केवल-स्ट्रिंग सामग्री: कुछ सर्वर संरचित कंटेंट-पार्ट ऐरे के बजाय केवल स्ट्रिंग messages[].content स्वीकार करते हैं। models.providers.<provider>.models[].compat.requiresStringContent: true सेट करें।
• सख्त संदेश कुंजियाँ: यदि सर्वर role/content से अधिक वाली संदेश प्रविष्टियाँ अस्वीकार करता है, तो compat.strictMessageKeys: true सेट करें।
• ब्रैकेट में टूल टेक्स्ट: कुछ स्थानीय मॉडल स्वतंत्र ब्रैकेटयुक्त टूल अनुरोध को टेक्स्ट के रूप में उत्सर्जित करते हैं, जैसे [tool_name], उसके बाद JSON और [END_TOOL_REQUEST]। OpenClaw उन्हें वास्तविक टूल कॉल में केवल तभी बदलता है, जब नाम उस टर्न के लिए पंजीकृत टूल से हूबहू मेल खाता हो; अन्यथा वह छिपे हुए, असमर्थित टेक्स्ट के रूप में रहता है।
• असंरचित टूल-कॉल जैसा टेक्स्ट: यदि कोई मॉडल JSON/XML/ReAct-शैली का ऐसा टेक्स्ट उत्सर्जित करता है, जो टूल कॉल जैसा दिखता है लेकिन संरचित आह्वान नहीं था, तो OpenClaw उसे टेक्स्ट के रूप में बनाए रखता है और रन ID, प्रोवाइडर/मॉडल, पहचाने गए पैटर्न तथा उपलब्ध होने पर टूल नाम के साथ चेतावनी लॉग करता है। यह प्रोवाइडर/मॉडल की असंगतता है, पूर्ण हुआ टूल रन नहीं।
• टूल उपयोग अनिवार्य करना: यदि टूल सहायक टेक्स्ट के रूप में दिखाई देते हैं (कच्चा JSON/XML/ReAct या खाली tool_calls ऐरे), तो पहले पुष्टि करें कि सर्वर का चैट टेम्पलेट/पार्सर टूल कॉल का समर्थन करता है। यदि पार्सर केवल टूल उपयोग अनिवार्य होने पर काम करता है, तो प्रत्येक मॉडल के लिए tool_choice: "auto" के डिफ़ॉल्ट प्रॉक्सी मान को ओवरराइड करें:
  {
    agents: {
      defaults: {
        models: {
          "local/my-local-model": {
            params: {
              extra_body: {
                tool_choice: "required",
              },
            },
          },
        },
      },
    },
  }
  
  इसका उपयोग केवल वहाँ करें, जहाँ प्रत्येक सामान्य टर्न में टूल कॉल होना चाहिए। local/my-local-model को openclaw models list के सटीक रेफ़रेंस से बदलें या इसे CLI के माध्यम से सेट करें:
  openclaw config set agents.defaults.models '{"local/my-local-model":{"params":{"extra_body":{"tool_choice":"required"}}}}' --strict-json --merge
  
• अतिरिक्त रीजनिंग प्रयास: यदि कोई कस्टम OpenAI-संगत मॉडल अंतर्निर्मित प्रोफ़ाइल से परे OpenAI रीजनिंग प्रयासों को स्वीकार करता है, तो उन्हें मॉडल के संगतता ब्लॉक में घोषित करें। "xhigh" जोड़ने से यह उस मॉडल रेफ़रेंस के लिए /think xhigh, सत्र चयनकर्ताओं, Gateway सत्यापन और llm-task सत्यापन में उपलब्ध हो जाता है:
  {
    models: {
      providers: {
        local: {
          baseUrl: "http://127.0.0.1:8000/v1",
          apiKey: "sk-local",
          api: "openai-responses",
          models: [
            {
              id: "gpt-5.4",
              name: "स्थानीय प्रॉक्सी के माध्यम से GPT 5.4",
              reasoning: true,
              input: ["text"],
              cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
              contextWindow: 196608,
              maxTokens: 8192,
              compat: {
                supportedReasoningEfforts: ["low", "medium", "high", "xhigh"],
                reasoningEffortMap: { xhigh: "xhigh" },
              },
            },
          ],
        },
      },
    },
  }
  

​

छोटे या अधिक सख्त बैकएंड

1. पुष्टि करें कि स्थानीय मॉडल प्रतिक्रिया देता है - कोई टूल नहीं, कोई एजेंट संदर्भ नहीं:
   openclaw infer model run --local --model <provider/model> --prompt "ठीक यही उत्तर दें: pong" --json
   
2. Gateway रूटिंग की पुष्टि करें - यह केवल प्रॉम्प्ट भेजता है और ट्रांसक्रिप्ट, AGENTS बूटस्ट्रैप, कॉन्टेक्स्ट-इंजन असेंबली, टूल और बंडल किए गए MCP सर्वर छोड़ देता है, लेकिन फिर भी Gateway रूटिंग, प्रमाणीकरण और प्रदाता चयन का परीक्षण करता है:
   openclaw infer model run --gateway --model <provider/model> --prompt "ठीक यही उत्तर दें: pong" --json
   
3. यदि दोनों परीक्षण सफल होते हैं, लेकिन वास्तविक एजेंट टर्न विकृत टूल कॉल या बहुत बड़े प्रॉम्प्ट के कारण विफल होते हैं, तो लीन मोड आज़माएँ: agents.defaults.experimental.localModelLean: true सेट करें। यह स्पष्ट रूप से आवश्यक न होने पर भारी ब्राउज़र, cron, संदेश, मीडिया-जनरेशन, वॉइस और PDF टूल हटा देता है तथा बड़े टूल कैटलॉग को डिफ़ॉल्ट रूप से संरचित Tool Search नियंत्रणों के पीछे रखता है, जबकि exec को सीधे दृश्यमान बनाए रखता है। विवरण और इसके चालू होने की पुष्टि करने के तरीके के लिए प्रायोगिक सुविधाएँ -> स्थानीय मॉडल लीन मोड देखें।
4. अंतिम उपाय के रूप में उस मॉडल के लिए models.providers.<provider>.models[].compat.supportsTools: false सेट करके टूल पूरी तरह अक्षम करें - इसके बाद एजेंट टूल कॉल के बिना चलता है।
5. इसके बाद बाधा अपस्ट्रीम में है। यदि लीन मोड और supportsTools: false के बाद भी बैकएंड केवल बड़े OpenClaw रन पर विफल होता है, तो शेष समस्या सामान्यतः मॉडल या सर्वर में ही होती है - कॉन्टेक्स्ट विंडो, GPU मेमोरी, kv-cache निष्कासन या बैकएंड बग - OpenClaw की ट्रांसपोर्ट परत में नहीं।

​

समस्या निवारण

• Gateway प्रॉक्सी तक नहीं पहुँच पा रहा? curl http://127.0.0.1:1234/v1/models।
• LM Studio मॉडल अनलोड हो गया? पुनः लोड करें; कोल्ड स्टार्ट का “अटकने” का कारण होना आम है।
• स्थानीय सर्वर terminated, ECONNRESET बताता है या टर्न के बीच में स्ट्रीम बंद कर देता है? OpenClaw डायग्नोस्टिक्स में कम-कार्डिनैलिटी वाला model.call.error.failureKind तथा OpenClaw प्रोसेस का RSS/हीप स्नैपशॉट दर्ज करता है। LM Studio/Ollama पर मेमोरी दबाव के लिए, उस टाइमस्टैम्प का सर्वर लॉग या macOS क्रैश/jetsam लॉग से मिलान करके पुष्टि करें कि मॉडल सर्वर समाप्त किया गया था या नहीं।
• कॉन्टेक्स्ट त्रुटियाँ? OpenClaw पहचानी गई मॉडल विंडो (या agents.defaults.contextTokens द्वारा घटाई गई सीमित विंडो) से कॉन्टेक्स्ट-विंडो प्रीफ्लाइट सीमाएँ निर्धारित करता है, 8k की न्यूनतम सीमा के साथ 20% से कम पर चेतावनी देता है और 4k की न्यूनतम सीमा के साथ 10% से कम पर पूरी तरह अवरुद्ध करता है (इसे प्रभावी कॉन्टेक्स्ट विंडो तक सीमित किया जाता है, ताकि मॉडल का अत्यधिक बड़ा मेटाडेटा किसी मान्य उपयोगकर्ता सीमा को अस्वीकार न कर सके)। contextWindow घटाएँ या सर्वर/मॉडल की कॉन्टेक्स्ट सीमा बढ़ाएँ।
• messages[].content ... expected a string? उस मॉडल प्रविष्टि में compat.requiresStringContent: true जोड़ें।
• validation.keys, या “संदेश प्रविष्टियाँ केवल role और content की अनुमति देती हैं”? उस मॉडल प्रविष्टि में compat.strictMessageKeys: true जोड़ें।
• प्रत्यक्ष /v1/chat/completions कॉल काम करते हैं, लेकिन Gemma या किसी अन्य स्थानीय मॉडल पर openclaw infer model run --local विफल होता है? पहले प्रदाता URL, मॉडल संदर्भ, प्रमाणीकरण मार्कर और सर्वर लॉग जाँचें - model run एजेंट टूल को पूरी तरह छोड़ देता है। यदि model run सफल होता है, लेकिन बड़े एजेंट टर्न विफल होते हैं, तो localModelLean या compat.supportsTools: false से टूल का दायरा घटाएँ।
• टूल कॉल कच्चे JSON/XML/ReAct टेक्स्ट के रूप में दिखाई देते हैं या प्रदाता खाली tool_calls ऐरे लौटाता है? ऐसा प्रॉक्सी न जोड़ें जो असिस्टेंट टेक्स्ट को बिना जाँच के टूल निष्पादन में बदल दे - पहले सर्वर का चैट टेम्पलेट/पार्सर ठीक करें। यदि मॉडल केवल टूल उपयोग को बाध्य करने पर काम करता है, तो ऊपर दिया गया params.extra_body.tool_choice: "required" ओवरराइड जोड़ें और उस मॉडल प्रविष्टि का उपयोग केवल उन सत्रों के लिए करें जहाँ प्रत्येक टर्न में टूल कॉल अपेक्षित हो।
• सुरक्षा: स्थानीय मॉडल प्रदाता-पक्षीय फ़िल्टर छोड़ देते हैं। प्रॉम्प्ट-इंजेक्शन के प्रभाव क्षेत्र को सीमित करने के लिए एजेंट का दायरा संकीर्ण रखें और Compaction चालू रखें।

​

संबंधित

• कॉन्फ़िगरेशन संदर्भ
• मॉडल फ़ेलओवर