LiteLLM

LiteLLM to brama LLM o otwartym kodzie źródłowym, oferująca ujednolicone API dla ponad 100 dostawców modeli. Kieruj ruch OpenClaw przez LiteLLM, aby centralnie śledzić koszty, rejestrować zdarzenia, używać kluczy wirtualnych z limitami wydatków oraz przełączać się awaryjnie między backendami bez zmiany konfiguracji OpenClaw.

Szybki start

Wdrażanie (zalecane)
Konfiguracja ręczna

openclaw onboard --auth-choice litellm-api-key

Aby przeprowadzić konfigurację nieinteraktywną z użyciem zdalnego serwera proxy, jawnie podaj jego adres URL:

openclaw onboard --non-interactive --accept-risk --auth-choice litellm-api-key \
  --litellm-api-key "$LITELLM_API_KEY" --custom-base-url "https://litellm.example/v1"

Uruchom LiteLLM Proxy

pip install 'litellm[proxy]'
litellm --model claude-opus-4-6

Skieruj OpenClaw do LiteLLM

export LITELLM_API_KEY="your-litellm-key"
openclaw

Konfiguracja

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "claude-opus-4-6",
            name: "Claude Opus 4.6",
            reasoning: true,
            input: ["text", "image"],
            contextWindow: 200000,
            maxTokens: 64000,
          },
          {
            id: "gpt-4o",
            name: "GPT-4o",
            reasoning: false,
            input: ["text", "image"],
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
  agents: {
    defaults: {
      model: { primary: "litellm/claude-opus-4-6" },
    },
  },
}

Proces wdrażania zapisuje domyślny model litellm/claude-opus-4-6.

Generowanie obrazów

LiteLLM może obsługiwać narzędzie image_generate za pośrednictwem tras /images/generations i /images/edits zgodnych z OpenAI. Domyślnym modelem obrazów jest gpt-image-2; inny model można skonfigurować w agents.defaults.imageGenerationModel:

{
  models: {
    providers: {
      litellm: {
        baseUrl: "http://localhost:4000",
        apiKey: "${LITELLM_API_KEY}",
      },
    },
  },
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "litellm/gpt-image-2",
        timeoutMs: 180_000,
      },
    },
  },
}

Adresy URL LiteLLM korzystające z local loopback (http://localhost:4000, 127.0.0.1, ::1, host.docker.internal) działają bez globalnego zezwolenia na dostęp do sieci prywatnej. W przypadku serwera proxy działającego w sieci LAN ustaw models.providers.litellm.request.allowPrivateNetwork: true, ponieważ klucz API jest wysyłany do tego hosta.

Zaawansowane

Klucze wirtualne

Utwórz dla OpenClaw dedykowany klucz z limitami wydatków:

curl -X POST "http://localhost:4000/key/generate" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "key_alias": "openclaw",
    "max_budget": 50.00,
    "budget_duration": "monthly"
  }'

Użyj wygenerowanego klucza jako LITELLM_API_KEY.

Trasowanie modeli

LiteLLM może kierować żądania modeli do różnych backendów. Skonfiguruj to w pliku config.yaml LiteLLM:

model_list:
  - model_name: claude-opus-4-6
    litellm_params:
      model: claude-opus-4-6
      api_key: os.environ/ANTHROPIC_API_KEY

  - model_name: gpt-4o
    litellm_params:
      model: gpt-4o
      api_key: os.environ/OPENAI_API_KEY

OpenClaw nadal wysyła żądania do claude-opus-4-6, a LiteLLM zajmuje się trasowaniem.

Wyświetlanie użycia

# Informacje o kluczu
curl "http://localhost:4000/key/info" \
  -H "Authorization: Bearer sk-litellm-key"

# Dzienniki wydatków
curl "http://localhost:4000/spend/logs" \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY"

Uwagi dotyczące działania serwera proxy

LiteLLM domyślnie działa pod adresem http://localhost:4000.
OpenClaw łączy się przez zgodny z OpenAI punkt końcowy /v1 serwera proxy LiteLLM.
Kształtowanie żądań przeznaczone wyłącznie dla natywnego OpenAI nie ma zastosowania w przypadku skonfigurowanego bazowego adresu URL LiteLLM: bez service_tier, bez store interfejsu Responses, bez wskazówek dotyczących pamięci podręcznej promptów i bez kształtowania ładunku poziomu intensywności rozumowania OpenAI.
Ukryte nagłówki atrybucji OpenClaw (originator, version, User-Agent) są wysyłane tylko do zweryfikowanych natywnych punktów końcowych OpenAI, dlatego nie są dodawane przy niestandardowym bazowym adresie URL LiteLLM.

Ogólną konfigurację dostawców i działanie przełączania awaryjnego opisano w sekcji Dostawcy modeli.

Powiązane materiały

Dokumentacja LiteLLM

Oficjalna dokumentacja LiteLLM i dokumentacja referencyjna API.

Wybór modelu

Przegląd wszystkich dostawców, odwołań do modeli i działania przełączania awaryjnego.

Konfiguracja

Pełna dokumentacja referencyjna konfiguracji.

Modele

Jak wybierać i konfigurować modele.

Overview

Concepts and configuration

Providers

Szybki start

Konfiguracja

Generowanie obrazów

Zaawansowane

Powiązane materiały

Dokumentacja LiteLLM

Wybór modelu

Konfiguracja

Modele

​Szybki start

​Konfiguracja

​Generowanie obrazów

​Zaawansowane

​Powiązane materiały

Dokumentacja LiteLLM

Wybór modelu

Konfiguracja

Modele

Szybki start

Konfiguracja

Generowanie obrazów

Zaawansowane

Powiązane materiały