models.providers.<id>.localService 會依需求啟動由提供者擁有的本機模型伺服器。當請求選取該提供者的模型時,OpenClaw 會探測健康狀態端點;如果程序已停止,就啟動程序、等待就緒,然後傳送請求。使用它可避免讓昂貴的本機伺服器整天持續執行。
運作方式
- 模型請求解析為已設定的提供者。
- 如果該提供者有
localService,OpenClaw 會探測healthUrl。 - 探測成功時,OpenClaw 會使用已在執行的伺服器。
- 探測失敗時,OpenClaw 會以
args產生command。 - OpenClaw 會輪詢健康狀態端點,直到
readyTimeoutMs到期。 - 模型請求會透過一般提供者傳輸送出。
- 如果 OpenClaw 啟動了程序且設定了
idleStopMs,它會在最後一個進行中的請求閒置達該時間後停止程序。
healthUrl 有健康的伺服器,此程序會重用它但不接管它(每個程序只管理自己親自啟動的子程序)。作用中的串流回應會持有租約,因此閒置關閉會等到回應處理完成。
設定形狀
timeoutSeconds(不是 localService),讓緩慢的冷啟動與長時間生成不會碰到預設模型請求逾時。每當你的伺服器在基底 URL 的 /models 以外位置公開就緒狀態時,請設定明確的 healthUrl。
欄位
| 欄位 | 必填 | 說明 |
|---|---|---|
command | 是 | 絕對可執行檔路徑。不進行 shell PATH 查找。 |
args | 否 | 程序引數。不進行 shell 展開、管線、glob 比對或引號處理。 |
cwd | 否 | 程序的工作目錄。 |
env | 否 | 合併覆蓋在 OpenClaw 程序環境之上的環境變數。 |
healthUrl | 否 | 就緒狀態 URL。預設為在 baseUrl 後附加 /models(http://127.0.0.1:8000/v1 變成 http://127.0.0.1:8000/v1/models)。 |
readyTimeoutMs | 否 | 啟動就緒期限。預設值:120000。 |
idleStopMs | 否 | OpenClaw 啟動程序的閒置關閉延遲。0 或省略會讓它保持執行,直到 OpenClaw 結束。 |
Inferrs 範例
Inferrs 是自訂的 OpenAI 相容/v1 後端,因此相同的 localService API 可與 inferrs 提供者項目搭配使用:
command 替換為在執行 OpenClaw 的機器上 which inferrs 的結果。完整 inferrs 設定:Inferrs。
ds4 範例
相關
本機模型
本機模型設定、提供者選擇與安全指引。
Inferrs
透過 inferrs OpenAI 相容本機伺服器執行 OpenClaw。