SGLang

SGLang menyajikan model berbobot terbuka melalui API HTTP yang kompatibel dengan OpenAI. OpenClaw terhubung ke SGLang menggunakan keluarga penyedia openai-completions dengan penemuan otomatis model yang tersedia.

Properti	Nilai
ID penyedia	`sglang`
Plugin	bawaan, `enabledByDefault: true`
Variabel lingkungan autentikasi	`SGLANG_API_KEY` (nilai apa pun yang tidak kosong jika server tidak menggunakan autentikasi)
Flag orientasi awal	`--auth-choice sglang`
API	Kompatibel dengan OpenAI (`openai-completions`)
URL dasar default	`http://127.0.0.1:30000/v1`
Placeholder model default	`sglang/Qwen/Qwen3-8B`
Penggunaan streaming	Ya (`supportsStreamingUsage: true`)
Harga	Ditandai gratis eksternal (`modelPricing.external: false`)

OpenClaw juga menemukan secara otomatis model yang tersedia dari SGLang saat Anda mengaktifkannya dengan SGLANG_API_KEY. Gunakan sglang/* di agents.defaults.models agar penemuan tetap dinamis ketika Anda juga mengonfigurasi URL dasar SGLang khusus. Lihat Penemuan model (penyedia implisit) di bawah.

Memulai

Mulai SGLang

Jalankan SGLang dengan server yang kompatibel dengan OpenAI. URL dasar Anda harus menyediakan endpoint /v1 (misalnya /v1/models, /v1/chat/completions). SGLang biasanya berjalan di:

http://127.0.0.1:30000/v1

Tetapkan kunci API

Nilai apa pun dapat digunakan jika autentikasi tidak dikonfigurasi pada server Anda:

export SGLANG_API_KEY="sglang-local"

Jalankan orientasi awal atau tetapkan model secara langsung

openclaw onboard

Atau konfigurasikan model secara manual:

{
  agents: {
    defaults: {
      model: { primary: "sglang/your-model-id" },
    },
  },
}

Penemuan model (penyedia implisit)

Ketika SGLANG_API_KEY ditetapkan (atau profil autentikasi tersedia) dan Anda tidak mendefinisikan models.providers.sglang, OpenClaw mengirim kueri ke:

GET http://127.0.0.1:30000/v1/models

dan mengonversi ID yang dikembalikan menjadi entri model.

Jika Anda menetapkan models.providers.sglang secara eksplisit, secara default OpenClaw menggunakan model yang Anda deklarasikan. Tambahkan "sglang/*": {} ke agents.defaults.models ketika Anda ingin OpenClaw mengirim kueri ke endpoint /models milik penyedia yang dikonfigurasi tersebut dan menyertakan semua model SGLang yang diumumkan.

Konfigurasi eksplisit (model manual)

Gunakan konfigurasi eksplisit ketika:

SGLang berjalan pada host/port yang berbeda.
Anda ingin menetapkan nilai contextWindow/maxTokens.
Server Anda memerlukan kunci API yang sebenarnya (atau Anda ingin mengontrol header).

{
  models: {
    providers: {
      sglang: {
        baseUrl: "http://127.0.0.1:30000/v1",
        apiKey: "${SGLANG_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Local SGLang Model",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

Konfigurasi lanjutan

Perilaku bergaya proksi

SGLang diperlakukan sebagai backend /v1 bergaya proksi yang kompatibel dengan OpenAI, bukan endpoint OpenAI native.

Perilaku	SGLang
Pembentukan permintaan khusus OpenAI	Tidak diterapkan
`service_tier`, `store` Responses, petunjuk cache prompt	Tidak dikirim
Pembentukan payload kompatibilitas penalaran	Tidak diterapkan
Header atribusi tersembunyi (`originator`, `version`, `User-Agent`)	Tidak disisipkan pada URL dasar SGLang khusus

Pemecahan masalah

Server tidak dapat dijangkauPastikan server berjalan dan merespons:

curl http://127.0.0.1:30000/v1/models

Kesalahan autentikasiJika permintaan gagal karena kesalahan autentikasi, tetapkan SGLANG_API_KEY sebenarnya yang sesuai dengan konfigurasi server Anda, atau konfigurasikan penyedia secara eksplisit di bawah models.providers.sglang.

Jika Anda menjalankan SGLang tanpa autentikasi, nilai apa pun yang tidak kosong untuk SGLANG_API_KEY sudah cukup untuk mengaktifkan penemuan model.

Overview

Concepts and configuration

Providers

Memulai

Penemuan model (penyedia implisit)

Konfigurasi eksplisit (model manual)

Konfigurasi lanjutan

Terkait

Pemilihan model

Referensi konfigurasi

​Memulai

​Penemuan model (penyedia implisit)

​Konfigurasi eksplisit (model manual)

​Konfigurasi lanjutan

​Terkait

Pemilihan model

Referensi konfigurasi

Memulai

Penemuan model (penyedia implisit)

Konfigurasi eksplisit (model manual)

Konfigurasi lanjutan

Terkait