ComfyUI

OpenClaw enthält ein gebündeltes comfy-Plugin für Workflow-gesteuerte ComfyUI-Ausführungen. Das Plugin wird vollständig durch Workflows gesteuert: OpenClaw bildet keine generischen size-, aspectRatio-, resolution-, durationSeconds- oder TTS-artigen Steuerelemente auf Ihren Graphen ab.

Eigenschaft	Details
Provider	`comfy`
Modell	`comfy/workflow`
Gemeinsame Tools	`image_generate`, `video_generate`, `music_generate`
Authentifizierung	Keine für lokales ComfyUI; `COMFY_API_KEY` oder `COMFY_CLOUD_API_KEY` für Comfy Cloud
API	ComfyUI `/prompt` / `/history` / `/view`; Comfy Cloud `/api/*`

Unterstützte Funktionen

Bilderzeugung und -bearbeitung anhand einer Workflow-JSON-Datei (für die Bearbeitung ist 1 hochgeladenes Referenzbild erforderlich)
Videoerzeugung anhand einer Workflow-JSON-Datei, Text-zu-Video oder Bild-zu-Video (1 Referenzbild)
Musik-/Audioerzeugung über das gemeinsame Tool music_generate, optional mit 1 Referenzbild
Herunterladen der Ausgabe von einem konfigurierten Node oder von allen passenden Ausgabe-Nodes, wenn keiner konfiguriert ist

Erste Schritte

Wählen Sie zwischen der Ausführung von ComfyUI auf Ihrem eigenen Computer und der Verwendung von Comfy Cloud.

Lokal
Comfy Cloud

Am besten geeignet für: die Ausführung Ihrer eigenen ComfyUI-Instanz auf Ihrem Computer oder im LAN.

ComfyUI lokal starten

Stellen Sie sicher, dass Ihre lokale ComfyUI-Instanz ausgeführt wird (Standardwert: http://127.0.0.1:8188).

Workflow-JSON vorbereiten

Exportieren oder erstellen Sie eine ComfyUI-Workflow-JSON-Datei. Notieren Sie die Node-IDs des Nodes für die Prompt-Eingabe und des Ausgabe-Nodes, aus dem OpenClaw lesen soll.

Provider konfigurieren

Legen Sie mode: "local" fest und verweisen Sie auf Ihre Workflow-Datei. Minimales Beispiel für Bilder:

{
  plugins: {
    entries: {
      comfy: {
        config: {
          mode: "local",
          baseUrl: "http://127.0.0.1:8188",
          image: {
            workflowPath: "./workflows/flux-api.json",
            promptNodeId: "6",
            outputNodeId: "9",
          },
        },
      },
    },
  },
}

Standardmodell festlegen

Verweisen Sie OpenClaw für die konfigurierte Funktion auf das Modell comfy/workflow:

{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}

Überprüfen

openclaw models list --provider comfy

Am besten geeignet für: die Ausführung von Workflows in Comfy Cloud, ohne lokale GPU-Ressourcen verwalten zu müssen.

API-Schlüssel abrufen

Registrieren Sie sich bei comfy.org und generieren Sie über das Dashboard Ihres Kontos einen API-Schlüssel.

API-Schlüssel festlegen

Stellen Sie Ihren Schlüssel mit einer der folgenden Methoden bereit:

# Onboarding-Flag
openclaw onboard --comfy-api-key "your-key"

# Umgebungsvariable (für Daemons bevorzugt)
export COMFY_API_KEY="your-key"

# Alternative Umgebungsvariable
export COMFY_CLOUD_API_KEY="your-key"

# Oder direkt in der Konfiguration
openclaw config set plugins.entries.comfy.config.apiKey "your-key"

Workflow-JSON vorbereiten

Exportieren oder erstellen Sie eine ComfyUI-Workflow-JSON-Datei. Notieren Sie die Node-IDs des Nodes für die Prompt-Eingabe und des Ausgabe-Nodes.

Provider konfigurieren

Legen Sie mode: "cloud" fest und verweisen Sie auf Ihre Workflow-Datei:

{
  plugins: {
    entries: {
      comfy: {
        config: {
          mode: "cloud",
          image: {
            workflowPath: "./workflows/flux-api.json",
            promptNodeId: "6",
            outputNodeId: "9",
          },
        },
      },
    },
  },
}

Im Cloud-Modus wird baseUrl standardmäßig auf https://cloud.comfy.org gesetzt. Legen Sie baseUrl nur für einen benutzerdefinierten Cloud-Endpunkt fest.

Standardmodell festlegen

{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}

Überprüfen

openclaw models list --provider comfy

Konfiguration

Comfy unterstützt gemeinsame Verbindungseinstellungen auf oberster Ebene sowie Workflow-Abschnitte pro Funktion (image, video, music):

{
  plugins: {
    entries: {
      comfy: {
        config: {
          mode: "local",
          baseUrl: "http://127.0.0.1:8188",
          image: {
            workflowPath: "./workflows/flux-api.json",
            promptNodeId: "6",
            outputNodeId: "9",
          },
          video: {
            workflowPath: "./workflows/video-api.json",
            promptNodeId: "12",
            outputNodeId: "21",
          },
          music: {
            workflowPath: "./workflows/music-api.json",
            promptNodeId: "3",
            outputNodeId: "18",
          },
        },
      },
    },
  },
}

Gemeinsame Schlüssel

Schlüssel	Typ	Beschreibung
`mode`	`"local"` oder `"cloud"`	Verbindungsmodus. Standardwert: `"local"`.
`baseUrl`	Zeichenfolge	Standardwert: `http://127.0.0.1:8188` für lokal oder `https://cloud.comfy.org` für die Cloud.
`apiKey`	Zeichenfolge	Optionaler direkt angegebener Schlüssel als Alternative zu den Umgebungsvariablen `COMFY_API_KEY` / `COMFY_CLOUD_API_KEY`.
`allowPrivateNetwork`	boolescher Wert	Erlaubt eine private/LAN-`baseUrl` im Cloud-Modus oder einen lokalen privaten DNS-FQDN.

Im Modus local funktionieren Loopback-/private IP-Literale und einteilige Dienstnamen wie http://comfyui:8188 ohne allowPrivateNetwork. Öffentlich wirkende private DNS-FQDNs wie https://comfy.local.example.com erfordern allowPrivateNetwork: true. Das Vertrauen in private Ursprünge bleibt auf das konfigurierte Schema, den Hostnamen und den Port beschränkt; lokale Weiterleitungen dürfen den konfigurierten Hostnamen nicht verlassen, während Cloud-Weiterleitungen zu öffentlichen CDNs anhand der standardmäßigen SSRF-Richtlinie geprüft werden.

Schlüssel pro Funktion

Diese Schlüssel gelten innerhalb der Abschnitte image, video oder music:

Schlüssel	Erforderlich	Standardwert	Beschreibung
`workflow` oder `workflowPath`	Ja	—	Direkt angegebene Workflow-JSON-Daten oder Pfad zur ComfyUI-Workflow-JSON-Datei.
`promptNodeId`	Ja	—	Node-ID, die den Text-Prompt empfängt.
`promptInputName`	Nein	`"text"`	Eingabename am Prompt-Node.
`outputNodeId`	Nein	—	Node-ID, aus der die Ausgabe gelesen wird. Falls nicht angegeben, werden alle passenden Ausgabe-Nodes verwendet.
`pollIntervalMs`	Nein	`1500`	Abfrageintervall in Millisekunden für den Abschluss des Auftrags.
`timeoutMs`	Nein	`300000`	Zeitüberschreitung in Millisekunden für die Workflow-Ausführung.

Die Abschnitte image und video unterstützen außerdem einen Eingabe-Node für Referenzbilder:

Schlüssel	Erforderlich	Standardwert	Beschreibung
`inputImageNodeId`	Ja (bei Übergabe eines Referenzbilds)	—	Node-ID, die das hochgeladene Referenzbild empfängt.
`inputImageInputName`	Nein	`"image"`	Eingabename am Bild-Node.

apiKey akzeptiert entweder eine literale Zeichenfolge oder ein Geheimnisreferenz-Objekt.

Workflow-Details

Bild-Workflows

Legen Sie das Standardbildmodell auf comfy/workflow fest:

{
  agents: {
    defaults: {
      imageGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}

Beispiel für die Bearbeitung mit einem Referenzbild:Um die Bildbearbeitung mit einem hochgeladenen Referenzbild zu aktivieren, fügen Sie Ihrer Bildkonfiguration inputImageNodeId hinzu:

{
  plugins: {
    entries: {
      comfy: {
        config: {
          image: {
            workflowPath: "./workflows/edit-api.json",
            promptNodeId: "6",
            inputImageNodeId: "7",
            inputImageInputName: "image",
            outputNodeId: "9",
          },
        },
      },
    },
  },
}

Video-Workflows

Legen Sie das Standardvideomodell auf comfy/workflow fest:

{
  agents: {
    defaults: {
      videoGenerationModel: {
        primary: "comfy/workflow",
      },
    },
  },
}

Comfy-Video-Workflows unterstützen Text-zu-Video und Bild-zu-Video über den konfigurierten Graphen.

OpenClaw übergibt keine Eingabevideos an Comfy-Workflows. Als Eingaben werden nur Text-Prompts und einzelne Referenzbilder unterstützt.

Musik-Workflows

Das gebündelte Plugin registriert einen Provider für die Musikerzeugung mit durch Workflows definierten Audio- oder Musikausgaben, der über das gemeinsame Tool music_generate bereitgestellt wird. Es akzeptiert ein optionales Referenzbild (bis zu 1):

/tool music_generate prompt="Warme Ambient-Synthesizer-Schleife mit sanfter Bandtextur"

Verwenden Sie den Konfigurationsabschnitt music, um auf die JSON-Datei Ihres Audio-Workflows und den Ausgabe-Node zu verweisen.

Abwärtskompatibilität

Die vorhandene Bildkonfiguration auf oberster Ebene (ohne den verschachtelten Abschnitt image) funktioniert weiterhin:

{
  plugins: {
    entries: {
      comfy: {
        config: {
          workflowPath: "./workflows/flux-api.json",
          promptNodeId: "6",
          outputNodeId: "9",
        },
      },
    },
  },
}

OpenClaw behandelt diese Legacy-Struktur als Konfiguration für den Bild-Workflow. Sie müssen nicht sofort migrieren, für neue Einrichtungen werden jedoch die verschachtelten Abschnitte image / video / music empfohlen. Wenn Sie nur die Bildgenerierung verwenden, sind die flache Legacy-Konfiguration und der neue verschachtelte Abschnitt image funktional gleichwertig.

Live-Tests

Für das gebündelte Plugin ist eine optionale Live-Testabdeckung verfügbar:

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

Der Live-Test überspringt einzelne Bild-, Video- oder Musikfälle, sofern der entsprechende Comfy-Workflow-Abschnitt nicht konfiguriert ist.

Bildgenerierung

Konfiguration und Verwendung des Werkzeugs zur Bildgenerierung.

Videogenerierung

Konfiguration und Verwendung des Werkzeugs zur Videogenerierung.

Musikgenerierung

Einrichtung des Werkzeugs zur Musik- und Audiogenerierung.

Provider-Verzeichnis

Übersicht über alle Provider und Modellreferenzen.

Konfigurationsreferenz

Vollständige Konfigurationsreferenz einschließlich der Agent-Standardeinstellungen.

Overview

Concepts and configuration

Providers

Unterstützte Funktionen

Erste Schritte

Konfiguration

Gemeinsame Schlüssel

Schlüssel pro Funktion

Workflow-Details

Verwandte Themen

Bildgenerierung

Videogenerierung

Musikgenerierung

Provider-Verzeichnis

Konfigurationsreferenz

​Unterstützte Funktionen

​Erste Schritte

​Konfiguration

​Gemeinsame Schlüssel

​Schlüssel pro Funktion

​Workflow-Details

​Verwandte Themen

Bildgenerierung

Videogenerierung

Musikgenerierung

Provider-Verzeichnis

Konfigurationsreferenz

Unterstützte Funktionen

Erste Schritte

Konfiguration

Gemeinsame Schlüssel

Schlüssel pro Funktion

Workflow-Details

Verwandte Themen