Déduit

inferrs expose des modèles locaux derrière une API /v1 compatible avec OpenAI. OpenClaw communique avec lui au moyen de l’adaptateur générique openai-completions.

Propriété	Valeur
ID du fournisseur	`inferrs` (personnalisé ; à configurer sous `models.providers.inferrs`)
Plugin	aucun — ce n’est pas un Plugin de fournisseur OpenClaw intégré
Variable d’environnement d’authentification	aucune requise ; toute valeur convient si votre serveur inferrs n’utilise pas d’authentification
API	compatible avec OpenAI (`openai-completions`)
URL de base suggérée	`http://127.0.0.1:8080/v1` (ou l’adresse à laquelle votre serveur inferrs écoute)

inferrs est un backend personnalisé auto-hébergé compatible avec OpenAI, et non un Plugin de fournisseur OpenClaw dédié : vous le configurez sous models.providers.inferrs au lieu de sélectionner une option d’authentification lors de la configuration initiale. Pour un Plugin intégré avec détection automatique, consultez SGLang ou vLLM.

Prise en main

Démarrer inferrs avec un modèle

inferrs serve google/gemma-4-E2B-it \
  --host 127.0.0.1 \
  --port 8080 \
  --device metal

Vérifier que le serveur est accessible

curl http://127.0.0.1:8080/health
curl http://127.0.0.1:8080/v1/models

Ajouter une entrée de fournisseur OpenClaw

Ajoutez une entrée de fournisseur explicite et faites pointer votre modèle par défaut vers celle-ci. Consultez l’exemple de configuration ci-dessous.

Exemple de configuration complète

Gemma 4 sur un serveur inferrs local :

{
  agents: {
    defaults: {
      model: { primary: "inferrs/google/gemma-4-E2B-it" },
      models: {
        "inferrs/google/gemma-4-E2B-it": {
          alias: "Gemma 4 (inferrs)",
        },
      },
    },
  },
  models: {
    mode: "merge",
    providers: {
      inferrs: {
        baseUrl: "http://127.0.0.1:8080/v1",
        apiKey: "inferrs-local",
        api: "openai-completions",
        models: [
          {
            id: "google/gemma-4-E2B-it",
            name: "Gemma 4 E2B (inferrs)",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 131072,
            maxTokens: 4096,
            compat: {
              requiresStringContent: true,
            },
          },
        ],
      },
    },
  },
}

Démarrage à la demande

OpenClaw peut démarrer inferrs lui-même uniquement lorsqu’un modèle inferrs/... est sélectionné. Ajoutez localService à la même entrée de fournisseur :

{
  models: {
    providers: {
      inferrs: {
        baseUrl: "http://127.0.0.1:8080/v1",
        apiKey: "inferrs-local",
        api: "openai-completions",
        timeoutSeconds: 300,
        localService: {
          command: "/opt/homebrew/bin/inferrs",
          args: [
            "serve",
            "google/gemma-4-E2B-it",
            "--host",
            "127.0.0.1",
            "--port",
            "8080",
            "--device",
            "metal",
          ],
          healthUrl: "http://127.0.0.1:8080/v1/models",
          readyTimeoutMs: 180000,
          idleStopMs: 0,
        },
        models: [
          {
            id: "google/gemma-4-E2B-it",
            name: "Gemma 4 E2B (inferrs)",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 131072,
            maxTokens: 4096,
            compat: {
              requiresStringContent: true,
            },
          },
        ],
      },
    },
  },
}

command doit être un chemin absolu. Exécutez which inferrs sur l’hôte du Gateway et utilisez le chemin obtenu. Référence complète des champs : Services de modèles locaux.

Configuration avancée

Pourquoi requiresStringContent est important

Certaines routes Chat Completions d’inferrs acceptent uniquement une chaîne dans messages[].content, et non des tableaux structurés de parties de contenu.

Si les exécutions OpenClaw échouent avec :

messages[1].content: invalid type: sequence, expected a string

définissez compat.requiresStringContent: true dans l’entrée du modèle. OpenClaw convertit alors les parties de contenu composées uniquement de texte en chaînes simples avant d’envoyer la requête.

Mise en garde concernant Gemma et le schéma des outils

Certaines combinaisons d’inferrs et de Gemma acceptent de petites requêtes directes vers /v1/chat/completions, mais échouent lors de tours complets de l’environnement d’exécution d’agent OpenClaw. Essayez d’abord de désactiver l’exposition du schéma des outils :

compat: {
  requiresStringContent: true,
  supportsTools: false
}

Cela réduit la pression exercée par le prompt sur les backends locaux plus stricts. Si les petites requêtes directes continuent de fonctionner, mais que les tours normaux de l’agent OpenClaw provoquent toujours un plantage dans inferrs, considérez qu’il s’agit d’une limitation du modèle ou du serveur en amont plutôt que d’un problème de transport OpenClaw.

Test de fonctionnement manuel

Testez les deux couches une fois la configuration terminée :

curl http://127.0.0.1:8080/v1/chat/completions \
  -H 'content-type: application/json' \
  -d '{"model":"google/gemma-4-E2B-it","messages":[{"role":"user","content":"What is 2 + 2?"}],"stream":false}'

openclaw infer model run \
  --model inferrs/google/gemma-4-E2B-it \
  --prompt "What is 2 + 2? Reply with one short sentence." \
  --json

Si la première commande fonctionne, mais que la seconde échoue, consultez la section Dépannage ci-dessous.

Comportement de type proxy

Comme inferrs utilise l’adaptateur générique openai-completions (et non openai-responses), la mise en forme des requêtes propre à OpenAI natif ne s’applique jamais : aucun service_tier, aucun store de Responses, aucune indication de cache de prompt et aucune mise en forme de charge utile pour la compatibilité du raisonnement OpenAI ne sont envoyés.

Dépannage

Échec de curl /v1/models

inferrs n’est pas en cours d’exécution, n’est pas accessible ou n’est pas lié à l’hôte ou au port que vous avez configuré. Vérifiez que le serveur est démarré et écoute à cette adresse.

messages[].content attendait une chaîne

Définissez compat.requiresStringContent: true dans l’entrée du modèle (voir ci-dessus).

Les appels directs à /v1/chat/completions réussissent, mais openclaw infer model run échoue

Définissez compat.supportsTools: false pour désactiver l’exposition du schéma des outils (voir la mise en garde concernant Gemma ci-dessus).

inferrs plante toujours lors de tours d’agent plus volumineux

Si les erreurs de schéma ont disparu, mais qu’inferrs plante toujours lors de tours d’agent plus volumineux, considérez qu’il s’agit d’une limitation d’inferrs ou du modèle en amont. Réduisez la pression exercée par le prompt ou changez de backend ou de modèle.

Pour obtenir une aide générale, consultez Dépannage et FAQ.

Ressources connexes

Modèles locaux

Exécution d’OpenClaw avec des serveurs de modèles locaux.

Services de modèles locaux

Démarrage à la demande de serveurs de modèles locaux pour les fournisseurs configurés.

Dépannage du Gateway

Dépannage des backends locaux compatibles avec OpenAI qui réussissent les tests directs, mais échouent lors des exécutions d’agent.

Sélection du modèle

Présentation de tous les fournisseurs, des références de modèles et du comportement de basculement.

Overview

Concepts and configuration

Providers

Prise en main

Exemple de configuration complète

Démarrage à la demande

Configuration avancée

Dépannage

Ressources connexes

Modèles locaux

Services de modèles locaux

Dépannage du Gateway

Sélection du modèle

​Prise en main

​Exemple de configuration complète

​Démarrage à la demande

​Configuration avancée

​Dépannage

​Ressources connexes

Modèles locaux

Services de modèles locaux

Dépannage du Gateway

Sélection du modèle

Prise en main

Exemple de configuration complète

Démarrage à la demande

Configuration avancée

Dépannage

Ressources connexes