Met het hulpmiddelDocumentation Index
Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt
Use this file to discover all available pages before exploring further.
music_generate kan de agent muziek of audio maken via de
gedeelde mogelijkheid voor muziekgeneratie met geconfigureerde providers: Google,
MiniMax en workflow-geconfigureerde ComfyUI op dit moment.
Voor agentuitvoeringen met sessieondersteuning start OpenClaw muziekgeneratie als
achtergrondtaak, houdt deze bij in het taaklogboek en wekt de agent vervolgens
opnieuw wanneer de track klaar is, zodat de agent de gebruiker kan informeren en de
voltooide audio kan toevoegen. In groeps-/kanaalchats die zichtbare levering alleen
via het berichthulpmiddel gebruiken, stuurt de agent het resultaat door via het
berichthulpmiddel. Als de voltooiingsagent alleen een privé-eindantwoord schrijft,
valt OpenClaw terug op rechtstreeks verzenden via het kanaal met de gegenereerde
media. De voltooiingswake waarschuwt de agent expliciet dat normale eindantwoorden
privé zijn in die routes.
Het ingebouwde gedeelde hulpmiddel verschijnt alleen wanneer er ten minste één
provider voor muziekgeneratie beschikbaar is. Als je
music_generate niet ziet in
de hulpmiddelen van je agent, configureer dan agents.defaults.musicGenerationModel
of stel een provider-API-sleutel in.Snel aan de slag
- Met gedeelde provider
- ComfyUI-workflow
Authenticatie configureren
Stel een API-sleutel in voor ten minste één provider, bijvoorbeeld
GEMINI_API_KEY of MINIMAX_API_KEY.Ondersteunde providers
| Provider | Standaardmodel | Referentie-invoer | Ondersteunde besturingselementen | Authenticatie |
|---|---|---|---|---|
| ComfyUI | workflow | Tot 1 afbeelding | Workflow-gedefinieerde muziek of audio | COMFY_API_KEY, COMFY_CLOUD_API_KEY |
lyria-3-clip-preview | Tot 10 afbeeldingen | lyrics, instrumental, format | GEMINI_API_KEY, GOOGLE_API_KEY | |
| MiniMax | music-2.6 | Geen | lyrics, instrumental, durationSeconds, format=mp3 | MINIMAX_API_KEY of MiniMax OAuth |
Mogelijkhedenmatrix
Het expliciete moduscontract dat wordt gebruikt doormusic_generate, contracttests
en de gedeelde live sweep:
| Provider | generate | edit | Bewerkingslimiet | Gedeelde live lanes |
|---|---|---|---|---|
| ComfyUI | ✓ | ✓ | 1 afbeelding | Niet in de gedeelde sweep; afgedekt door extensions/comfy/comfy.live.test.ts |
| ✓ | ✓ | 10 afbeeldingen | generate, edit | |
| MiniMax | ✓ | — | Geen | generate |
action: "list" om beschikbare gedeelde providers en modellen tijdens
runtime te inspecteren:
action: "status" om de actieve muziekgeneratietaak met sessieondersteuning
te inspecteren:
Hulpmiddelparameters
Prompt voor muziekgeneratie. Vereist voor
action: "generate"."status" retourneert de huidige sessietaak; "list" inspecteert providers.Provider-/model-override (bijv.
google/lyria-3-pro-preview,
comfy/workflow).Optionele songtekst wanneer de provider expliciete songtekstinvoer ondersteunt.
Vraag om instrumentale uitvoer wanneer de provider dit ondersteunt.
Eén pad of URL naar een referentieafbeelding.
Meerdere referentieafbeeldingen (tot 10 bij ondersteunende providers).
Doelduur in seconden wanneer de provider duurhints ondersteunt.
Hint voor uitvoerformaat wanneer de provider dit ondersteunt.
Hint voor uitvoerbestandsnaam.
Optionele time-out voor providerverzoeken in milliseconden. Als deze wordt weggelaten, gebruikt OpenClaw
agents.defaults.musicGenerationModel.timeoutMs als dit is geconfigureerd. Waarden onder 10000ms worden verhoogd naar 10000ms en gerapporteerd in het hulpmiddelresultaat.Niet alle providers ondersteunen alle parameters. OpenClaw valideert nog steeds harde
limieten, zoals aantallen invoeritems, vóór indiening. Wanneer een provider duur
ondersteunt maar een korter maximum gebruikt dan de gevraagde waarde, begrenst
OpenClaw dit tot de dichtstbijzijnde ondersteunde duur. Echt niet-ondersteunde
optionele hints worden genegeerd met een waarschuwing wanneer de geselecteerde
provider of het geselecteerde model ze niet kan honoreren. Hulpmiddelresultaten
rapporteren toegepaste instellingen;
details.normalization legt eventuele mapping
van gevraagd naar toegepast vast.Asynchroon gedrag
Muziekgeneratie met sessieondersteuning draait als achtergrondtaak:- Achtergrondtaak:
music_generatemaakt een achtergrondtaak aan, retourneert onmiddellijk een gestart-/taakantwoord en plaatst de voltooide track later in een vervolgbericht van de agent. - Voorkoming van duplicaten: terwijl een taak
queuedofrunningis, retourneren lateremusic_generate-aanroepen in dezelfde sessie taakstatus in plaats van een nieuwe generatie te starten. Gebruikaction: "status"om dit expliciet te controleren. - Status opzoeken:
openclaw tasks listofopenclaw tasks show <taskId>inspecteert wachtrij-, actieve en terminale status. - Voltooiingswake: OpenClaw injecteert een interne voltooiingsgebeurtenis terug in dezelfde sessie, zodat het model zelf de gebruikersgerichte opvolging kan schrijven.
- Prompthint: latere gebruikers-/handmatige beurten in dezelfde sessie krijgen
een kleine runtimehint wanneer er al een muziektaak loopt, zodat het model niet
blind opnieuw
music_generateaanroept. - Fallback zonder sessie: directe/lokale contexten zonder echte agentsessie voeren inline uit en retourneren het uiteindelijke audioresultaat in dezelfde beurt.
Taaklevenscyclus
| Status | Betekenis |
|---|---|
queued | Taak aangemaakt, wacht tot de provider deze accepteert. |
running | Provider verwerkt de taak (meestal 30 seconden tot 3 minuten, afhankelijk van provider en duur). |
succeeded | Track klaar; de agent wordt gewekt en plaatst deze in het gesprek. |
failed | Providerfout of time-out; de agent wordt gewekt met foutdetails. |
Configuratie
Modelselectie
Selectievolgorde van providers
OpenClaw probeert providers in deze volgorde:model-parameter uit de hulpmiddelaanroep (als de agent er een opgeeft).musicGenerationModel.primaryuit de configuratie.musicGenerationModel.fallbacksop volgorde.- Automatische detectie met alleen op authenticatie gebaseerde providerstandaarden:
- huidige standaardprovider eerst;
- resterende geregistreerde muziekgeneratieproviders op volgorde van provider-id.
agents.defaults.mediaGenerationAutoProviderFallback: false in om alleen
expliciete model-, primary- en fallbacks-vermeldingen te gebruiken.
Provideropmerkingen
ComfyUI
ComfyUI
Workflowgestuurd en afhankelijk van de geconfigureerde grafiek plus knooppuntmapping
voor prompt-/uitvoervelden. De gebundelde
comfy-Plugin sluit aan op het
gedeelde music_generate-hulpmiddel via het providerregister voor muziekgeneratie.Google (Lyria 3)
Google (Lyria 3)
Gebruikt Lyria 3-batchgeneratie. De huidige gebundelde flow ondersteunt prompt,
optionele songtekst en optionele referentieafbeeldingen.
MiniMax
MiniMax
Gebruikt het batch-eindpunt
music_generation. Ondersteunt prompt, optionele
songtekst, instrumentale modus, duursturing en mp3-uitvoer via
minimax-API-sleutelauthenticatie of minimax-portal OAuth.Het juiste pad kiezen
- Met gedeelde provider wanneer je modelselectie, providerfailover en de ingebouwde asynchrone taak-/statusflow wilt.
- Plugin-pad (ComfyUI) wanneer je een aangepaste workflowgrafiek nodig hebt of een provider die geen deel uitmaakt van de gedeelde gebundelde muziekmogelijkheid.
Providermogelijkheidsmodi
Het gedeelde muziekgeneratiecontract ondersteunt expliciete modusdeclaraties:generatevoor generatie met alleen een prompt.editwanneer het verzoek een of meer referentieafbeeldingen bevat.
maxInputImages, supportsLyrics en
supportsFormat zijn niet genoeg om bewerkingsondersteuning te adverteren.
Providers moeten generate en edit expliciet declareren, zodat live tests,
contracttests en het gedeelde music_generate-hulpmiddel modusondersteuning
deterministisch kunnen valideren.
Live tests
Opt-in livedekking voor de gedeelde gebundelde providers:~/.profile, geeft
standaard de voorkeur aan live/env-API-sleutels boven opgeslagen auth-profielen,
en voert zowel generate als gedeclareerde edit-dekking uit wanneer de
provider de bewerkmodus inschakelt. Dekking vandaag:
google:generatepluseditminimax: alleengeneratecomfy: afzonderlijke Comfy-live-dekking, niet de gedeelde providersweep
Gerelateerd
- Achtergrondtaken — taaktracking voor losgekoppelde
music_generate-runs - ComfyUI
- Configuratiereferentie —
musicGenerationModel-configuratie - Google (Gemini)
- MiniMax
- Modellen — modelconfiguratie en failover
- Toolsoverzicht