LiteLLM

LiteLLM ist ein quelloffenes LLM-Gateway mit einer einheitlichen API für mehr als 100 Modell- Provider. Leiten Sie OpenClaw über LiteLLM, um Kosten zentral zu verfolgen, Protokolle zu erfassen, virtuelle Schlüssel mit Ausgabenlimits zu verwalten und bei Backend-Ausfällen umzuschalten, ohne die OpenClaw-Konfiguration zu ändern.

Schnellstart

Onboarding (empfohlen)
Manuelle Einrichtung

openclaw onboard --auth-choice litellm-api-key

Geben Sie für eine nicht interaktive Einrichtung mit einem Remote-Proxy die Proxy-URL explizit an:

openclaw onboard --non-interactive --accept-risk --auth-choice litellm-api-key \
  --litellm-api-key "$LITELLM_API_KEY" --custom-base-url "https://litellm.example/v1"

LiteLLM-Proxy starten

pip install 'litellm[proxy]'
litellm --model claude-opus-4-6

OpenClaw mit LiteLLM verbinden

export LITELLM_API_KEY="your-litellm-key"
openclaw

Konfiguration

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "claude-opus-4-6",
            name: "Claude Opus 4.6",
            reasoning: true,
            input: ["text", "image"],
            contextWindow: 200000,
            maxTokens: 64000,
          },
          {
            id: "gpt-4o",
            name: "GPT-4o",
            reasoning: false,
            input: ["text", "image"],
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
  agents: {
    defaults: {
      model: { primary: "litellm/claude-opus-4-6" },
    },
  },
}

Das beim Onboarding standardmäßig eingetragene Modell ist litellm/claude-opus-4-6.

Bilderzeugung

LiteLLM kann das Tool image_generate über die OpenAI-kompatiblen Routen /images/generations und /images/edits bereitstellen. Das standardmäßige Bildmodell ist gpt-image-2; konfigurieren Sie ein anderes unter agents.defaults.mediaModels.image:

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
      },
    },
  },
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "litellm/gpt-image-2",
        timeoutMs: 180_000,
      },
    },
  },
}

Lokale LiteLLM-URLs (http://localhost:4000, 127.0.0.1, ::1, host.docker.internal) funktionieren ohne eine globale Außerkraftsetzung für private Netzwerke. Legen Sie für einen im LAN gehosteten Proxy models.providers.litellm.request.allowPrivateNetwork: true fest, da der API-Schlüssel an diesen Host gesendet wird.

Erweitert

Virtuelle Schlüssel

Erstellen Sie für OpenClaw einen eigenen Schlüssel mit Ausgabenlimits:

curl -X POST "http://localhost:4000/key/generate" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "key_alias": "openclaw",
    "max_budget": 50.00,
    "budget_duration": "monthly"
  }'

Verwenden Sie den generierten Schlüssel als LITELLM_API_KEY.

Modellrouting

LiteLLM kann Modellanfragen an verschiedene Backends weiterleiten. Konfigurieren Sie dies in Ihrer LiteLLM-Datei config.yaml:

model_list:
  - model_name: claude-opus-4-6
    litellm_params:
      model: claude-opus-4-6
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: gpt-4o
    litellm_params:
      model: gpt-4o
      api_key: os.environ/OPENAI_API_KEY

OpenClaw fordert weiterhin claude-opus-4-6 an; LiteLLM übernimmt das Routing.

Nutzung anzeigen

# Schlüsselinformationen
curl "http://localhost:4000/key/info" \
  -H "Authorization: Bearer sk-litellm-key"

# Ausgabenprotokolle
curl "http://localhost:4000/spend/logs" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY"

Hinweise zum Proxy-Verhalten

LiteLLM wird standardmäßig auf http://localhost:4000 ausgeführt.
OpenClaw stellt die Verbindung über LiteLLMs Proxy-artigen, OpenAI-kompatiblen Endpunkt /v1 her.
Die ausschließlich für natives OpenAI vorgesehene Anfrageaufbereitung wird bei einer konfigurierten LiteLLM-Basis-URL nicht angewendet: kein service_tier, kein Responses-store, keine Hinweise für den Prompt-Cache und keine Aufbereitung der Nutzlast für den OpenAI-Reasoning-Aufwand.
Verborgene OpenClaw-Attributionsheader (originator, version, User-Agent) werden nur an verifizierte native OpenAI-Endpunkte gesendet und daher bei einer benutzerdefinierten LiteLLM-Basis-URL nicht eingefügt.

Informationen zur allgemeinen Provider-Konfiguration und zum Failover-Verhalten finden Sie unter Modell-Provider.

LiteLLM-Dokumentation

Offizielle LiteLLM-Dokumentation und API-Referenz.

Modellauswahl

Übersicht über alle Provider, Modellreferenzen und das Failover-Verhalten.

Konfiguration

Vollständige Konfigurationsreferenz.

Modelle

So wählen und konfigurieren Sie Modelle.

Overview

Concepts and configuration

Providers

Schnellstart

Konfiguration

Bilderzeugung

Erweitert

Verwandte Themen

LiteLLM-Dokumentation

Modellauswahl

Konfiguration

Modelle

​Schnellstart

​Konfiguration

​Bilderzeugung

​Erweitert

​Verwandte Themen

LiteLLM-Dokumentation

Modellauswahl

Konfiguration

Modelle

Schnellstart

Konfiguration

Bilderzeugung

Erweitert

Verwandte Themen