Naar hoofdinhoud gaan

Documentation Index

Fetch the complete documentation index at: https://docs2.openclaw.ai/llms.txt

Use this file to discover all available pages before exploring further.

Met het hulpmiddel music_generate kan de agent muziek of audio maken via de gedeelde mogelijkheid voor muziekgeneratie met geconfigureerde providers: Google, MiniMax en workflow-geconfigureerde ComfyUI op dit moment. Voor agentuitvoeringen met sessieondersteuning start OpenClaw muziekgeneratie als achtergrondtaak, houdt deze bij in het taaklogboek en wekt de agent vervolgens opnieuw wanneer de track klaar is, zodat de agent de gebruiker kan informeren en de voltooide audio kan toevoegen. In groeps-/kanaalchats die zichtbare levering alleen via het berichthulpmiddel gebruiken, stuurt de agent het resultaat door via het berichthulpmiddel. Als de voltooiingsagent alleen een privé-eindantwoord schrijft, valt OpenClaw terug op rechtstreeks verzenden via het kanaal met de gegenereerde media. De voltooiingswake waarschuwt de agent expliciet dat normale eindantwoorden privé zijn in die routes.
Het ingebouwde gedeelde hulpmiddel verschijnt alleen wanneer er ten minste één provider voor muziekgeneratie beschikbaar is. Als je music_generate niet ziet in de hulpmiddelen van je agent, configureer dan agents.defaults.musicGenerationModel of stel een provider-API-sleutel in.

Snel aan de slag

1

Authenticatie configureren

Stel een API-sleutel in voor ten minste één provider, bijvoorbeeld GEMINI_API_KEY of MINIMAX_API_KEY.
2

Kies een standaardmodel (optioneel)

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}
3

Vraag het de agent

“Genereer een opgewekte synthpoptrack over een nachtelijke rit door een neonstad.”De agent roept music_generate automatisch aan. Geen allow-listing voor hulpmiddelen nodig.
Voor directe synchrone contexten zonder agentuitvoering met sessieondersteuning valt het ingebouwde hulpmiddel nog steeds terug op inline generatie en retourneert het uiteindelijke mediapad in het hulpmiddelresultaat.
Voorbeeldprompts:
Generate a cinematic piano track with soft strings and no vocals.
Generate an energetic chiptune loop about launching a rocket at sunrise.

Ondersteunde providers

ProviderStandaardmodelReferentie-invoerOndersteunde besturingselementenAuthenticatie
ComfyUIworkflowTot 1 afbeeldingWorkflow-gedefinieerde muziek of audioCOMFY_API_KEY, COMFY_CLOUD_API_KEY
Googlelyria-3-clip-previewTot 10 afbeeldingenlyrics, instrumental, formatGEMINI_API_KEY, GOOGLE_API_KEY
MiniMaxmusic-2.6Geenlyrics, instrumental, durationSeconds, format=mp3MINIMAX_API_KEY of MiniMax OAuth

Mogelijkhedenmatrix

Het expliciete moduscontract dat wordt gebruikt door music_generate, contracttests en de gedeelde live sweep:
ProvidergenerateeditBewerkingslimietGedeelde live lanes
ComfyUI1 afbeeldingNiet in de gedeelde sweep; afgedekt door extensions/comfy/comfy.live.test.ts
Google10 afbeeldingengenerate, edit
MiniMaxGeengenerate
Gebruik action: "list" om beschikbare gedeelde providers en modellen tijdens runtime te inspecteren:
/tool music_generate action=list
Gebruik action: "status" om de actieve muziekgeneratietaak met sessieondersteuning te inspecteren:
/tool music_generate action=status
Voorbeeld van directe generatie:
/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

Hulpmiddelparameters

prompt
string
vereist
Prompt voor muziekgeneratie. Vereist voor action: "generate".
action
"generate" | "status" | "list"
standaard:"generate"
"status" retourneert de huidige sessietaak; "list" inspecteert providers.
model
string
Provider-/model-override (bijv. google/lyria-3-pro-preview, comfy/workflow).
lyrics
string
Optionele songtekst wanneer de provider expliciete songtekstinvoer ondersteunt.
instrumental
boolean
Vraag om instrumentale uitvoer wanneer de provider dit ondersteunt.
image
string
Eén pad of URL naar een referentieafbeelding.
images
string[]
Meerdere referentieafbeeldingen (tot 10 bij ondersteunende providers).
durationSeconds
number
Doelduur in seconden wanneer de provider duurhints ondersteunt.
format
"mp3" | "wav"
Hint voor uitvoerformaat wanneer de provider dit ondersteunt.
filename
string
Hint voor uitvoerbestandsnaam.
timeoutMs
number
Optionele time-out voor providerverzoeken in milliseconden. Als deze wordt weggelaten, gebruikt OpenClaw agents.defaults.musicGenerationModel.timeoutMs als dit is geconfigureerd. Waarden onder 10000ms worden verhoogd naar 10000ms en gerapporteerd in het hulpmiddelresultaat.
Niet alle providers ondersteunen alle parameters. OpenClaw valideert nog steeds harde limieten, zoals aantallen invoeritems, vóór indiening. Wanneer een provider duur ondersteunt maar een korter maximum gebruikt dan de gevraagde waarde, begrenst OpenClaw dit tot de dichtstbijzijnde ondersteunde duur. Echt niet-ondersteunde optionele hints worden genegeerd met een waarschuwing wanneer de geselecteerde provider of het geselecteerde model ze niet kan honoreren. Hulpmiddelresultaten rapporteren toegepaste instellingen; details.normalization legt eventuele mapping van gevraagd naar toegepast vast.

Asynchroon gedrag

Muziekgeneratie met sessieondersteuning draait als achtergrondtaak:
  • Achtergrondtaak: music_generate maakt een achtergrondtaak aan, retourneert onmiddellijk een gestart-/taakantwoord en plaatst de voltooide track later in een vervolgbericht van de agent.
  • Voorkoming van duplicaten: terwijl een taak queued of running is, retourneren latere music_generate-aanroepen in dezelfde sessie taakstatus in plaats van een nieuwe generatie te starten. Gebruik action: "status" om dit expliciet te controleren.
  • Status opzoeken: openclaw tasks list of openclaw tasks show <taskId> inspecteert wachtrij-, actieve en terminale status.
  • Voltooiingswake: OpenClaw injecteert een interne voltooiingsgebeurtenis terug in dezelfde sessie, zodat het model zelf de gebruikersgerichte opvolging kan schrijven.
  • Prompthint: latere gebruikers-/handmatige beurten in dezelfde sessie krijgen een kleine runtimehint wanneer er al een muziektaak loopt, zodat het model niet blind opnieuw music_generate aanroept.
  • Fallback zonder sessie: directe/lokale contexten zonder echte agentsessie voeren inline uit en retourneren het uiteindelijke audioresultaat in dezelfde beurt.

Taaklevenscyclus

StatusBetekenis
queuedTaak aangemaakt, wacht tot de provider deze accepteert.
runningProvider verwerkt de taak (meestal 30 seconden tot 3 minuten, afhankelijk van provider en duur).
succeededTrack klaar; de agent wordt gewekt en plaatst deze in het gesprek.
failedProviderfout of time-out; de agent wordt gewekt met foutdetails.
Controleer status vanuit de CLI:
openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

Configuratie

Modelselectie

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["minimax/music-2.6"],
      },
    },
  },
}

Selectievolgorde van providers

OpenClaw probeert providers in deze volgorde:
  1. model-parameter uit de hulpmiddelaanroep (als de agent er een opgeeft).
  2. musicGenerationModel.primary uit de configuratie.
  3. musicGenerationModel.fallbacks op volgorde.
  4. Automatische detectie met alleen op authenticatie gebaseerde providerstandaarden:
    • huidige standaardprovider eerst;
    • resterende geregistreerde muziekgeneratieproviders op volgorde van provider-id.
Als een provider faalt, wordt de volgende kandidaat automatisch geprobeerd. Als alle pogingen falen, bevat de fout details van elke poging. Stel agents.defaults.mediaGenerationAutoProviderFallback: false in om alleen expliciete model-, primary- en fallbacks-vermeldingen te gebruiken.

Provideropmerkingen

Workflowgestuurd en afhankelijk van de geconfigureerde grafiek plus knooppuntmapping voor prompt-/uitvoervelden. De gebundelde comfy-Plugin sluit aan op het gedeelde music_generate-hulpmiddel via het providerregister voor muziekgeneratie.
Gebruikt Lyria 3-batchgeneratie. De huidige gebundelde flow ondersteunt prompt, optionele songtekst en optionele referentieafbeeldingen.
Gebruikt het batch-eindpunt music_generation. Ondersteunt prompt, optionele songtekst, instrumentale modus, duursturing en mp3-uitvoer via minimax-API-sleutelauthenticatie of minimax-portal OAuth.

Het juiste pad kiezen

  • Met gedeelde provider wanneer je modelselectie, providerfailover en de ingebouwde asynchrone taak-/statusflow wilt.
  • Plugin-pad (ComfyUI) wanneer je een aangepaste workflowgrafiek nodig hebt of een provider die geen deel uitmaakt van de gedeelde gebundelde muziekmogelijkheid.
Als je ComfyUI-specifiek gedrag debugt, zie ComfyUI. Als je gedeeld providergedrag debugt, begin dan met Google (Gemini) of MiniMax.

Providermogelijkheidsmodi

Het gedeelde muziekgeneratiecontract ondersteunt expliciete modusdeclaraties:
  • generate voor generatie met alleen een prompt.
  • edit wanneer het verzoek een of meer referentieafbeeldingen bevat.
Nieuwe providerimplementaties moeten bij voorkeur expliciete modusblokken gebruiken:
capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}
Verouderde platte velden zoals maxInputImages, supportsLyrics en supportsFormat zijn niet genoeg om bewerkingsondersteuning te adverteren. Providers moeten generate en edit expliciet declareren, zodat live tests, contracttests en het gedeelde music_generate-hulpmiddel modusondersteuning deterministisch kunnen valideren.

Live tests

Opt-in livedekking voor de gedeelde gebundelde providers:
OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts
Repo-wrapper:
pnpm test:live:media music
Dit livebestand laadt ontbrekende provider-env-vars uit ~/.profile, geeft standaard de voorkeur aan live/env-API-sleutels boven opgeslagen auth-profielen, en voert zowel generate als gedeclareerde edit-dekking uit wanneer de provider de bewerkmodus inschakelt. Dekking vandaag:
  • google: generate plus edit
  • minimax: alleen generate
  • comfy: afzonderlijke Comfy-live-dekking, niet de gedeelde providersweep
Meld je aan voor live-dekking voor het meegeleverde ComfyUI-muziekpad:
OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts
Het Comfy-livebestand dekt ook comfy-image- en videoworkflows wanneer die secties zijn geconfigureerd.

Gerelateerd