Ana içeriğe atla

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

inferrs, yerel modelleri OpenAI uyumlu bir /v1 API arkasında sunabilir. OpenClaw, genel openai-completions yolu üzerinden inferrs ile çalışır.
ÖzellikDeğer
Sağlayıcı kimliğiinferrs (özel; models.providers.inferrs altında yapılandırın)
Pluginyok — inferrs, paketlenmiş bir OpenClaw sağlayıcı plugin’i değildir
Kimlik doğrulama ortam değişkeniİsteğe bağlı. inferrs sunucunuzda kimlik doğrulama yoksa herhangi bir değer çalışır
APIOpenAI uyumlu (openai-completions)
Önerilen temel URLhttp://127.0.0.1:8080/v1 (veya inferrs sunucunuzun bulunduğu yer)
inferrs şu anda adanmış bir OpenClaw sağlayıcı plugin’i yerine özel, kendi barındırdığınız OpenAI uyumlu bir backend olarak ele alınmalıdır. Bunu bir onboarding seçim bayrağı yerine models.providers.inferrs üzerinden yapılandırırsınız. Otomatik keşif özellikli gerçek bir paketlenmiş plugin’e ihtiyacınız varsa SGLang veya vLLM bölümüne bakın.

​
Başlarken

1

inferrs'i bir modelle başlatın

inferrs serve google/gemma-4-E2B-it \
  --host 127.0.0.1 \
  --port 8080 \
  --device metal
2

Sunucuya erişilebildiğini doğrulayın

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/v1/models
3

Bir OpenClaw sağlayıcı girdisi ekleyin

Açık bir sağlayıcı girdisi ekleyin ve varsayılan modelinizi ona yönlendirin. Aşağıdaki tam yapılandırma örneğine bakın.

​
Tam yapılandırma örneği

Bu örnek, yerel bir inferrs sunucusunda Gemma 4 kullanır. 
{
  agents: {
    defaults: {
      model: { primary: "inferrs/google/gemma-4-E2B-it" },
      models: {
        "inferrs/google/gemma-4-E2B-it": {
          alias: "Gemma 4 (inferrs)",
        },
      },
    },
  },
  models: {
    mode: "merge",
    providers: {
      inferrs: {
        baseUrl: "http://127.0.0.1:8080/v1",
        apiKey: "inferrs-local",
        api: "openai-completions",
        models: [
          {
            id: "google/gemma-4-E2B-it",
            name: "Gemma 4 E2B (inferrs)",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 131072,
            maxTokens: 4096,
            compat: {
              requiresStringContent: true,
            },
          },
        ],
      },
    },
  },
}

​
İstek üzerine başlatma

Inferrs, yalnızca bir inferrs/... modeli seçildiğinde OpenClaw tarafından da başlatılabilir. Aynı sağlayıcı girdisine localService ekleyin: 
{
  models: {
    providers: {
      inferrs: {
        baseUrl: "http://127.0.0.1:8080/v1",
        apiKey: "inferrs-local",
        api: "openai-completions",
        timeoutSeconds: 300,
        localService: {
          command: "/opt/homebrew/bin/inferrs",
          args: [
            "serve",
            "google/gemma-4-E2B-it",
            "--host",
            "127.0.0.1",
            "--port",
            "8080",
            "--device",
            "metal",
          ],
          healthUrl: "http://127.0.0.1:8080/v1/models",
          readyTimeoutMs: 180000,
          idleStopMs: 0,
        },
        models: [
          {
            id: "google/gemma-4-E2B-it",
            name: "Gemma 4 E2B (inferrs)",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 131072,
            maxTokens: 4096,
            compat: {
              requiresStringContent: true,
            },
          },
        ],
      },
    },
  },
}
command mutlak olmalıdır. Gateway ana makinesinde which inferrs kullanın ve bu yolu yapılandırmaya koyun. Tam alan başvurusu için Yerel model hizmetleri bölümüne bakın.

​
Gelişmiş yapılandırma

Bazı inferrs Chat Completions rotaları, yapılandırılmış içerik parçası dizileri yerine yalnızca dize messages[].content kabul eder.
OpenClaw çalıştırmaları şu tür bir hatayla başarısız olursa:
messages[1].content: invalid type: sequence, expected a string
model girdinizde compat.requiresStringContent: true ayarlayın.
compat: {
  requiresStringContent: true
}
OpenClaw, isteği göndermeden önce saf metin içerik parçalarını düz dizelere dönüştürür.
Bazı mevcut inferrs + Gemma kombinasyonları küçük doğrudan /v1/chat/completions isteklerini kabul eder, ancak tam OpenClaw agent-runtime turlarında yine de başarısız olur.Bu olursa önce şunu deneyin:
compat: {
  requiresStringContent: true,
  supportsTools: false
}
Bu, model için OpenClaw’ın araç şeması yüzeyini devre dışı bırakır ve daha katı yerel backend’lerde prompt baskısını azaltabilir.Küçük doğrudan istekler hâlâ çalışıyor ancak normal OpenClaw ajan turları inferrs içinde çökmeye devam ediyorsa, kalan sorun genellikle OpenClaw’ın taşıma katmanından ziyade upstream model/sunucu davranışıdır.
Yapılandırdıktan sonra iki katmanı da test edin:
curl http://127.0.0.1:8080/v1/chat/completions \
  -H 'content-type: application/json' \
  -d '{"model":"google/gemma-4-E2B-it","messages":[{"role":"user","content":"What is 2 + 2?"}],"stream":false}'

openclaw infer model run \
  --model inferrs/google/gemma-4-E2B-it \
  --prompt "What is 2 + 2? Reply with one short sentence." \
  --json
İlk komut çalışıp ikincisi başarısız olursa aşağıdaki sorun giderme bölümünü kontrol edin.
inferrs, yerel bir OpenAI uç noktası olarak değil, proxy tarzı OpenAI uyumlu bir /v1 backend olarak ele alınır.
  • Yalnızca yerel OpenAI istek şekillendirmesi burada uygulanmaz
  • service_tier yok, Responses store yok, prompt-cache ipuçları yok ve OpenAI reasoning-compat payload şekillendirmesi yok
  • Gizli OpenClaw atıf başlıkları (originator, version, User-Agent) özel inferrs temel URL’lerine eklenmez

​
Sorun giderme

inferrs çalışmıyor, erişilemiyor veya beklenen host/port’a bağlanmamış. Sunucunun başlatıldığından ve yapılandırdığınız adreste dinlediğinden emin olun.
Model girdisinde compat.requiresStringContent: true ayarlayın. Ayrıntılar için yukarıdaki requiresStringContent bölümüne bakın.
Araç şeması yüzeyini devre dışı bırakmak için compat.supportsTools: false ayarlamayı deneyin. Yukarıdaki Gemma araç şeması uyarısına bakın.
OpenClaw artık şema hataları almıyorsa ancak inferrs daha büyük ajan turlarında hâlâ çöküyorsa, bunu upstream inferrs veya model sınırlaması olarak ele alın. Prompt baskısını azaltın veya farklı bir yerel backend’e ya da modele geçin.
Genel yardım için Sorun giderme ve SSS bölümlerine bakın.

​
İlgili

Yerel modeller

OpenClaw’ı yerel model sunucularına karşı çalıştırma.

Yerel model hizmetleri

Yapılandırılmış sağlayıcılar için yerel model sunucularını istek üzerine başlatma.

Gateway sorun giderme

Sınamalardan geçen ancak ajan çalıştırmalarında başarısız olan yerel OpenAI uyumlu backend’lerde hata ayıklama.

Model seçimi

Tüm sağlayıcılara, model ref’lerine ve failover davranışına genel bakış.