Das Tool
video_generate wird nur angezeigt, wenn mindestens ein
Provider für Videogenerierung verfügbar ist. Wenn Sie es in Ihren
Agent-Tools nicht sehen, setzen Sie einen Provider-API-Schlüssel oder
konfigurieren Sie agents.defaults.videoGenerationModel.generate- Text-zu-Video-Anfragen ohne Referenzmedien.imageToVideo- die Anfrage enthält ein oder mehrere Referenzbilder.videoToVideo- die Anfrage enthält ein oder mehrere Referenzvideos.
action=list.
Schnellstart
Authentifizierung konfigurieren
Legen Sie einen API-Schlüssel für einen unterstützten Provider fest:
So funktioniert asynchrone Generierung
Videogenerierung ist asynchron. Wenn der Agentvideo_generate in einer
Sitzung aufruft:
- OpenClaw übermittelt die Anfrage an den Provider und gibt sofort eine Aufgaben-ID zurück.
- Der Provider verarbeitet den Auftrag im Hintergrund (typischerweise 30 Sekunden bis mehrere Minuten, je nach Provider und Auflösung; langsame queue-gestützte Provider können bis zum konfigurierten Timeout laufen).
- Wenn das Video bereit ist, weckt OpenClaw dieselbe Sitzung mit einem internen Abschlussereignis.
- Der Agent informiert den Benutzer über den normalen sichtbaren Antwortmodus der Sitzung:
endgültige Antwortzustellung, wenn automatisch, oder
message(action="send"), wenn die Sitzung das Nachrichtentool erfordert. Wenn die anfragende Sitzung inaktiv ist oder ihr aktives Wecken fehlschlägt und in der Abschlussantwort noch generiertes Video fehlt, sendet OpenClaw einen idempotenten direkten Fallback nur mit dem fehlenden Video.
video_generate-Aufrufe in
derselben Sitzung den aktuellen Aufgabenstatus zurück, statt eine weitere
Generierung zu starten. Verwenden Sie openclaw tasks list oder
openclaw tasks show <taskId>, um den Fortschritt über die CLI zu prüfen.
Außerhalb von sitzungsgestützten Agent-Läufen (zum Beispiel bei direkten
Tool-Aufrufen) fällt das Tool auf Inline-Generierung zurück und gibt den
finalen Medienpfad im selben Turn zurück.
Generierte Videodateien werden im von OpenClaw verwalteten Medienspeicher
gespeichert, wenn der Provider Bytes zurückgibt. Die Standard-Speichergrenze
für generierte Videos folgt dem Videomedienlimit, und
agents.defaults.mediaMaxMb erhöht sie für größere Renderings. Wenn ein
Provider zusätzlich eine gehostete Ausgabe-URL zurückgibt, kann OpenClaw
diese URL ausliefern, statt die Aufgabe fehlschlagen zu lassen, falls die
lokale Persistierung eine übergroße Datei ablehnt.
Aufgabenlebenszyklus
| Status | Bedeutung |
|---|---|
queued | Aufgabe erstellt, wartet darauf, dass der Provider sie akzeptiert. |
running | Provider verarbeitet sie (typischerweise 30 Sekunden bis mehrere Minuten, je nach Provider und Auflösung). |
succeeded | Video bereit; der Agent wacht auf und postet es in die Unterhaltung. |
failed | Provider-Fehler oder Timeout; der Agent wacht mit Fehlerdetails auf. |
queued oder
running ist, gibt video_generate den vorhandenen Aufgabenstatus zurück,
statt eine neue zu starten. Verwenden Sie action: "status", um explizit
zu prüfen, ohne eine neue Generierung auszulösen.
Unterstützte Provider
| Provider | Standardmodell | Text | Bildref. | Videoref. | Auth |
|---|---|---|---|---|---|
| Alibaba | wan2.6-t2v | ✓ | Ja (Remote-URL) | Ja (Remote-URL) | MODELSTUDIO_API_KEY |
| BytePlus (1.0) | seedance-1-0-pro-250528 | ✓ | Bis zu 2 Bilder (nur I2V-Modelle; erstes + letztes Frame) | - | BYTEPLUS_API_KEY |
| BytePlus Seedance 1.5 | seedance-1-5-pro-251215 | ✓ | Bis zu 2 Bilder (erstes + letztes Frame per Rolle) | - | BYTEPLUS_API_KEY |
| BytePlus Seedance 2.0 | dreamina-seedance-2-0-260128 | ✓ | Bis zu 9 Referenzbilder | Bis zu 3 Videos | BYTEPLUS_API_KEY |
| ComfyUI | workflow | ✓ | 1 Bild | - | COMFY_API_KEY oder COMFY_CLOUD_API_KEY |
| DeepInfra | Pixverse/Pixverse-T2V | ✓ | - | - | DEEPINFRA_API_KEY |
| fal | fal-ai/minimax/video-01-live | ✓ | 1 Bild; bis zu 9 mit Seedance reference-to-video | Bis zu 3 Videos mit Seedance reference-to-video | FAL_KEY |
veo-3.1-fast-generate-preview | ✓ | 1 Bild | 1 Video | GEMINI_API_KEY | |
| MiniMax | MiniMax-Hailuo-2.3 | ✓ | 1 Bild | - | MINIMAX_API_KEY oder MiniMax OAuth |
| OpenAI | sora-2 | ✓ | 1 Bild | 1 Video | OPENAI_API_KEY |
| OpenRouter | google/veo-3.1-fast | ✓ | Bis zu 4 Bilder (erstes/letztes Frame oder Referenzen) | - | OPENROUTER_API_KEY |
| Qwen | wan2.6-t2v | ✓ | Ja (Remote-URL) | Ja (Remote-URL) | QWEN_API_KEY |
| Runway | gen4.5 | ✓ | 1 Bild | 1 Video | RUNWAYML_API_SECRET |
| Together | Wan-AI/Wan2.2-T2V-A14B | ✓ | Nur Wan-AI/Wan2.2-I2V-A14B | - | TOGETHER_API_KEY |
| Vydra | veo3 | ✓ | 1 Bild (kling) | - | VYDRA_API_KEY |
| xAI | grok-imagine-video | ✓ | 1 Erst-Frame-Bild oder bis zu 7 reference_images | 1 Video | XAI_API_KEY |
video_generate action=list aus, um verfügbare Provider, Modelle und
Laufzeitmodi zur Laufzeit zu prüfen.
Capability-Matrix
Der explizite Modusvertrag, der vonvideo_generate, Vertragstests und
dem gemeinsamen Live-Sweep verwendet wird:
| Provider | generate | imageToVideo | videoToVideo | Gemeinsame Live-Lanes heute |
|---|---|---|---|---|
| Alibaba | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo übersprungen, weil dieser Provider Remote-http(s)-Video-URLs benötigt |
| BytePlus | ✓ | ✓ | - | generate, imageToVideo |
| ComfyUI | ✓ | ✓ | - | Nicht im gemeinsamen Sweep; workflowspezifische Abdeckung liegt bei den Comfy-Tests |
| DeepInfra | ✓ | - | - | generate; native DeepInfra-Videoschemas sind im Plugin-Vertrag Text-zu-Video |
| fal | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo nur bei Verwendung von Seedance reference-to-video |
| ✓ | ✓ | ✓ | generate, imageToVideo; gemeinsames videoToVideo übersprungen, weil der aktuelle buffer-gestützte Gemini/Veo-Sweep diese Eingabe nicht akzeptiert | |
| MiniMax | ✓ | ✓ | - | generate, imageToVideo |
| OpenAI | ✓ | ✓ | ✓ | generate, imageToVideo; gemeinsames videoToVideo übersprungen, weil diese Organisation/dieser Eingabepfad derzeit Provider-seitigen Video-Edit-Zugriff benötigt |
| OpenRouter | ✓ | ✓ | - | generate, imageToVideo |
| Qwen | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo übersprungen, weil dieser Provider Remote-http(s)-Video-URLs benötigt |
| Runway | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo läuft nur, wenn das ausgewählte Modell runway/gen4_aleph ist |
| Together | ✓ | ✓ | - | generate, imageToVideo |
| Vydra | ✓ | ✓ | - | generate; gemeinsames imageToVideo übersprungen, weil das gebündelte veo3 nur Text unterstützt und das gebündelte kling eine Remote-Bild-URL erfordert |
| xAI | ✓ | ✓ | ✓ | generate, imageToVideo; videoToVideo übersprungen, weil dieser Provider derzeit eine Remote-MP4-URL benötigt |
Tool-Parameter
Erforderlich
Textbeschreibung des zu generierenden Videos. Erforderlich für
action: "generate".Inhaltseingaben
Einzelnes Referenzbild (Pfad oder URL).
Mehrere Referenzbilder (bis zu 9).
Optionale Rollenhinweise pro Position, parallel zur kombinierten Bildliste.
Kanonische Werte:
first_frame, last_frame, reference_image.Einzelnes Referenzvideo (Pfad oder URL).
Mehrere Referenzvideos (bis zu 4).
Optionale Rollenhinweise pro Position, parallel zur kombinierten Videoliste.
Kanonischer Wert:
reference_video.Einzelne Referenzaudiodatei (Pfad oder URL). Wird für Hintergrundmusik oder eine
Stimmreferenz verwendet, wenn der Provider Audioeingaben unterstützt.
Mehrere Referenzaudiodateien (bis zu 3).
Optionale Rollenhinweise pro Position, parallel zur kombinierten Audioliste.
Kanonischer Wert:
reference_audio.Rollenhinweise werden unverändert an den Provider weitergegeben. Kanonische Werte stammen aus
der Union
VideoGenerationAssetRole, aber Provider können zusätzliche
Rollenzeichenfolgen akzeptieren. *Roles-Arrays dürfen nicht mehr Einträge haben als die
entsprechende Referenzliste; Off-by-one-Fehler schlagen mit einer klaren Fehlermeldung fehl.
Verwenden Sie eine leere Zeichenfolge, um einen Slot nicht zu setzen. Legen Sie für xAI jede Bildrolle auf
reference_image fest, um den Generierungsmodus reference_images zu verwenden; lassen Sie die
Rolle weg oder verwenden Sie first_frame für Image-to-Video mit einem einzelnen Bild.Stilsteuerungen
Hinweis zum Seitenverhältnis, z. B.
1:1, 16:9, 9:16, adaptive oder ein providerspezifischer Wert. OpenClaw normalisiert oder ignoriert nicht unterstützte Werte je Provider.Hinweis zur Auflösung, z. B.
480P, 720P, 768P, 1080P, 4K oder ein providerspezifischer Wert. OpenClaw normalisiert oder ignoriert nicht unterstützte Werte je Provider.Zieldauer in Sekunden (auf den nächstgelegenen vom Provider unterstützten Wert gerundet).
Größenhinweis, wenn der Provider ihn unterstützt.
Aktiviert generiertes Audio in der Ausgabe, sofern unterstützt. Unterscheidet sich von
audioRef* (Eingaben).Schaltet Provider-Wasserzeichen um, sofern unterstützt.
adaptive ist ein providerspezifischer Sentinel: Er wird unverändert an
Provider weitergegeben, die adaptive in ihren Fähigkeiten deklarieren (z. B. verwendet BytePlus
Seedance dies, um das Verhältnis automatisch aus den Abmessungen des Eingabebilds
zu erkennen). Provider, die dies nicht deklarieren, geben den Wert über
details.ignoredOverrides im Tool-Ergebnis aus, sodass das Verwerfen sichtbar ist.
Erweitert
"status" gibt die aktuelle Sitzungsaufgabe zurück; "list" prüft Provider.Provider-/Modell-Override (z. B.
runway/gen4.5).Hinweis zum Ausgabedateinamen.
Optionales Timeout für Provider-Vorgänge in Millisekunden. Wenn ausgelassen, verwendet OpenClaw
agents.defaults.videoGenerationModel.timeoutMs, sofern konfiguriert, andernfalls den vom Plugin festgelegten Provider-Standard, wenn einer existiert.Providerspezifische Optionen als JSON-Objekt (z. B.
{"seed": 42, "draft": true}).
Provider, die ein typisiertes Schema deklarieren, validieren die Schlüssel und Typen; unbekannte
Schlüssel oder Abweichungen überspringen den Kandidaten während des Fallbacks. Provider ohne
deklariertes Schema erhalten die Optionen unverändert. Führen Sie video_generate action=list
aus, um zu sehen, was die einzelnen Provider akzeptieren.Nicht alle Provider unterstützen alle Parameter. OpenClaw normalisiert die Dauer auf
den nächstgelegenen vom Provider unterstützten Wert und bildet übersetzte Geometriehinweise
wie Größe-zu-Seitenverhältnis neu ab, wenn ein Fallback-Provider eine andere
Steuerungsoberfläche bereitstellt. Wirklich nicht unterstützte Overrides werden nach bestem Bemühen
ignoriert und im Tool-Ergebnis als Warnungen gemeldet. Harte Fähigkeitsgrenzen
(z. B. zu viele Referenzeingaben) schlagen vor der Übermittlung fehl. Tool-Ergebnisse
melden angewendete Einstellungen;
details.normalization erfasst jede
Übersetzung von angefordert zu angewendet.- Keine Referenzmedien →
generate - Beliebige Bildreferenz →
imageToVideo - Beliebige Videoreferenz →
videoToVideo - Referenz-Audioeingaben ändern den aufgelösten Modus nicht; sie werden auf
den Modus angewendet, den die Bild-/Videoreferenzen auswählen, und funktionieren nur
mit Providern, die
maxInputAudiosdeklarieren.
Fallback und typisierte Optionen
Einige Fähigkeitsprüfungen werden auf der Fallback-Ebene statt an der Tool-Grenze angewendet, sodass eine Anfrage, die die Grenzen des primären Providers überschreitet, weiterhin auf einem fähigen Fallback ausgeführt werden kann:- Aktiver Kandidat, der kein
maxInputAudios(oder0) deklariert, wird übersprungen, wenn die Anfrage Audioreferenzen enthält; der nächste Kandidat wird versucht. maxDurationSecondsdes aktiven Kandidaten liegt unter dem angefordertendurationSecondsund es ist keine ListesupportedDurationSecondsdeklariert → übersprungen.- Anfrage enthält
providerOptionsund der aktive Kandidat deklariert explizit ein typisiertesproviderOptions-Schema → übersprungen, wenn gelieferte Schlüssel nicht im Schema enthalten sind oder Werttypen nicht übereinstimmen. Provider ohne deklariertes Schema erhalten Optionen unverändert (rückwärtskompatible Durchreichung). Ein Provider kann alle Provider-Optionen ablehnen, indem er ein leeres Schema deklariert (capabilities.providerOptions: {}), was denselben Skip wie eine Typabweichung verursacht.
warn protokolliert, damit Operatoren sehen,
wann ihr primärer Provider übergangen wurde; nachfolgende Skips werden mit debug
protokolliert, um lange Fallback-Ketten ruhig zu halten. Wenn jeder Kandidat übersprungen wird,
enthält der aggregierte Fehler den Skip-Grund für jeden.
Aktionen
| Aktion | Funktion |
|---|---|
generate | Standard. Erstellt ein Video aus dem angegebenen Prompt und optionalen Referenzeingaben. |
status | Prüft den Status der laufenden Videoaufgabe für die aktuelle Sitzung, ohne eine weitere Generierung zu starten. |
list | Zeigt verfügbare Provider, Modelle und deren Fähigkeiten an. |
Modellauswahl
OpenClaw löst das Modell in dieser Reihenfolge auf:- Tool-Parameter
model- wenn der Agent im Aufruf einen angibt. videoGenerationModel.primaryaus der Konfiguration.videoGenerationModel.fallbacksder Reihe nach.- Automatische Erkennung - Provider mit gültiger Authentifizierung, beginnend mit dem aktuellen Standard-Provider, anschließend verbleibende Provider in alphabetischer Reihenfolge.
agents.defaults.mediaGenerationAutoProviderFallback: false, um
nur die expliziten Einträge model, primary und fallbacks zu verwenden.
Provider-Hinweise
Alibaba
Alibaba
Verwendet den asynchronen DashScope-/Model-Studio-Endpunkt. Referenzbilder und
Videos müssen entfernte
http(s)-URLs sein.BytePlus (1.0)
BytePlus (1.0)
Provider-ID:
byteplus.Modelle: seedance-1-0-pro-250528 (Standard),
seedance-1-0-pro-t2v-250528, seedance-1-0-pro-fast-251015,
seedance-1-0-lite-t2v-250428, seedance-1-0-lite-i2v-250428.T2V-Modelle (*-t2v-*) akzeptieren keine Bildeingaben; I2V-Modelle und
allgemeine *-pro-*-Modelle unterstützen ein einzelnes Referenzbild (erstes
Frame). Übergeben Sie das Bild positionsbasiert oder setzen Sie role: "first_frame".
T2V-Modell-IDs werden automatisch auf die entsprechende I2V-
Variante umgeschaltet, wenn ein Bild bereitgestellt wird.Unterstützte providerOptions-Schlüssel: seed (Zahl), draft (boolesch -
erzwingt 480p), camera_fixed (boolesch).BytePlus Seedance 1.5
BytePlus Seedance 1.5
Erfordert das Plugin
@openclaw/byteplus-modelark.
Provider-ID: byteplus-seedance15. Modell:
seedance-1-5-pro-251215.Verwendet die einheitliche content[]-API. Unterstützt höchstens 2 Eingabebilder
(first_frame + last_frame). Alle Eingaben müssen entfernte https://-
URLs sein. Setzen Sie role: "first_frame" / "last_frame" für jedes Bild oder
übergeben Sie Bilder positionsbasiert.aspectRatio: "adaptive" erkennt das Verhältnis automatisch aus dem Eingabebild.
audio: true wird auf generate_audio abgebildet. providerOptions.seed
(Zahl) wird weitergegeben.BytePlus Seedance 2.0
BytePlus Seedance 2.0
Erfordert das Plugin
@openclaw/byteplus-modelark.
Provider-ID: byteplus-seedance2. Modelle:
dreamina-seedance-2-0-260128,
dreamina-seedance-2-0-fast-260128.Verwendet die einheitliche content[]-API. Unterstützt bis zu 9 Referenzbilder,
3 Referenzvideos und 3 Referenzaudiodateien. Alle Eingaben müssen entfernte
https://-URLs sein. Setzen Sie role für jedes Asset - unterstützte Werte:
"first_frame", "last_frame", "reference_image",
"reference_video", "reference_audio".aspectRatio: "adaptive" erkennt das Verhältnis automatisch aus dem Eingabebild.
audio: true wird auf generate_audio abgebildet. providerOptions.seed
(Zahl) wird weitergegeben.ComfyUI
ComfyUI
Workflow-gesteuerte lokale oder Cloud-Ausführung. Unterstützt Text-zu-Video und
Bild-zu-Video über den konfigurierten Graphen.
fal
fal
Verwendet einen warteschlangengestützten Ablauf für lang laufende Jobs. OpenClaw wartet
standardmäßig bis zu 20 Minuten, bevor ein laufender fal-Warteschlangenjob als
abgelaufen behandelt wird. Die meisten fal-Videomodelle
akzeptieren eine einzelne Bildreferenz. Seedance-2.0-Referenz-zu-Video-
Modelle akzeptieren bis zu 9 Bilder, 3 Videos und 3 Audioreferenzen, mit
höchstens 12 Referenzdateien insgesamt.
Google (Gemini / Veo)
Google (Gemini / Veo)
Unterstützt eine Bild- oder eine Videoreferenz. Anfragen für generiertes Audio werden
auf dem Gemini-API-Pfad mit einer Warnung ignoriert, weil diese API
den Parameter
generateAudio für die aktuelle Veo-Videogenerierung ablehnt.MiniMax
MiniMax
Nur eine einzelne Bildreferenz. MiniMax akzeptiert die Auflösungen
768P und 1080P;
Anfragen wie 720P werden vor der Übermittlung auf den nächstliegenden
unterstützten Wert normalisiert.OpenAI
OpenAI
Nur die
size-Überschreibung wird weitergeleitet. Andere Stilüberschreibungen
(aspectRatio, resolution, audio, watermark) werden mit
einer Warnung ignoriert.OpenRouter
OpenRouter
Verwendet die asynchrone
/videos-API von OpenRouter. OpenClaw übermittelt den
Job, fragt polling_url ab und lädt entweder unsigned_urls oder den
dokumentierten Job-Inhaltsendpunkt herunter. Der gebündelte Standard google/veo-3.1-fast
bewirbt Dauern von 4/6/8 Sekunden, Auflösungen 720P/1080P und
Seitenverhältnisse 16:9/9:16.Qwen
Qwen
Dasselbe DashScope-Backend wie Alibaba. Referenzeingaben müssen entfernte
http(s)-URLs sein; lokale Dateien werden vorab abgelehnt.Runway
Runway
Unterstützt lokale Dateien über Daten-URIs. Video-zu-Video erfordert
runway/gen4_aleph. Reine Textläufe stellen die Seitenverhältnisse 16:9 und 9:16
bereit.Together
Together
Nur eine einzelne Bildreferenz.
Vydra
Vydra
Verwendet
https://www.vydra.ai/api/v1 direkt, um auth-verwerfende
Weiterleitungen zu vermeiden. veo3 ist nur als Text-zu-Video gebündelt; kling erfordert
eine entfernte Bild-URL.xAI
xAI
Unterstützt Text-zu-Video, Bild-zu-Video mit einem einzelnen ersten Frame, bis zu 7
reference_image-Eingaben über xAI reference_images sowie entfernte
Video-Bearbeitungs- und Erweiterungsabläufe.Provider-Fähigkeitsmodi
Der gemeinsame Videogenerierungsvertrag unterstützt modusspezifische Fähigkeiten statt nur flache aggregierte Grenzen. Neue Provider-Implementierungen sollten explizite Modusblöcke bevorzugen:maxInputImages und maxInputVideos reichen
nicht aus, um Unterstützung für Transformationsmodi auszuweisen. Provider sollten
generate, imageToVideo und videoToVideo explizit deklarieren, damit Live-
Tests, Vertragstests und das gemeinsame Tool video_generate die
Modusunterstützung deterministisch validieren können.
Wenn ein Modell in einem Provider breitere Unterstützung für Referenzeingaben hat als der
Rest, verwenden Sie maxInputImagesByModel, maxInputVideosByModel oder
maxInputAudiosByModel, statt die modusweite Grenze anzuheben.
Live-Tests
Opt-in-Live-Abdeckung für die gemeinsam gebündelten Provider:generatefür jeden Nicht-FAL-Provider in der Prüfung.- Einsekündiger Hummer-Prompt.
- Vorgangslimit pro Provider aus
OPENCLAW_LIVE_VIDEO_GENERATION_TIMEOUT_MS(standardmäßig180000).
OPENCLAW_LIVE_VIDEO_GENERATION_FULL_MODES=1, um auch deklarierte
Transformationsmodi auszuführen, die die gemeinsame Prüfung mit lokalen Medien sicher testen kann:
imageToVideo, wenncapabilities.imageToVideo.enabled.videoToVideo, wenncapabilities.videoToVideo.enabledund das Provider-/Modell pufferbasierte lokale Videoeingabe in der gemeinsamen Prüfung akzeptiert.
videoToVideo-Live-Lane runway nur ab, wenn Sie
runway/gen4_aleph auswählen.
Konfiguration
Legen Sie das standardmäßige Videogenerierungsmodell in Ihrer OpenClaw-Konfiguration fest:Verwandt
- Alibaba Model Studio
- Hintergrundaufgaben - Aufgabenverfolgung für asynchrone Videogenerierung
- BytePlus
- ComfyUI
- Konfigurationsreferenz
- fal
- Google (Gemini)
- MiniMax
- Modelle
- OpenAI
- Qwen
- Runway
- Together AI
- Tools-Übersicht
- Vydra
- xAI