Génération musicale

​

Démarrage rapide

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

/tool music_generate prompt="Boucle de synthé ambiante chaleureuse avec une douce texture de bande"

Générez une piste cinématographique au piano avec des cordes douces et sans voix.

Générez une boucle chiptune énergique sur le lancement d’une fusée au lever du soleil.

/tool music_generate action=list
/tool music_generate action=status

/tool music_generate prompt="Hip-hop lo-fi onirique avec une texture vinyle et une pluie légère" instrumental=true

​

Fournisseurs pris en charge

​

Matrice des fonctionnalités

​

Paramètres de l’outil

​

Comportement asynchrone

• Tâche en arrière-plan : music_generate crée une tâche en arrière-plan, renvoie immédiatement une réponse indiquant le démarrage et la tâche, puis publie ultérieurement la piste terminée dans un message de suivi de l’agent.
• Prévention des doublons : tant qu’une tâche est queued ou running, les appels ultérieurs à music_generate dans la même session renvoient l’état de la tâche au lieu de démarrer une autre génération. Utilisez action: "status" pour effectuer une vérification explicite. Une requête correspondante récemment terminée est également dédupliquée pendant 2 minutes.
• Consultation de l’état : openclaw tasks list ou openclaw tasks show <taskId> permet de consulter les états en attente, en cours et terminaux.
• Réveil à l’achèvement : OpenClaw réinjecte un événement interne d’achèvement dans la même session afin que le modèle puisse rédiger lui-même le message de suivi destiné à l’utilisateur.
• Indication dans la requête : les interactions utilisateur/manuelles ultérieures de la même session reçoivent une petite indication d’exécution lorsqu’une tâche musicale est déjà en cours, afin que le modèle ne rappelle pas aveuglément music_generate.
• Solution de secours sans session : les contextes directs/locaux sans véritable session d’agent s’exécutent directement et renvoient le résultat audio final dans la même interaction.

​

Cycle de vie des tâches

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Configuration

​

Sélection du modèle

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],
      },
    },
  },
}

​

Ordre de sélection des fournisseurs

1. Paramètre model de l’appel de l’outil (si l’agent en précise un).
2. musicGenerationModel.primary provenant de la configuration.
3. musicGenerationModel.fallbacks dans l’ordre indiqué.
4. Détection automatique utilisant uniquement les valeurs par défaut des fournisseurs disposant d’une authentification :
   • d’abord, le fournisseur actuel du modèle de texte par défaut, s’il propose également la génération musicale ;
   • puis les autres fournisseurs de génération musicale enregistrés, par ordre alphabétique de leur identifiant.

​

Notes sur les fournisseurs

​

Choisir la bonne approche

• Avec un fournisseur partagé lorsque vous souhaitez sélectionner un modèle, bénéficier du basculement entre fournisseurs et utiliser le flux asynchrone intégré de tâches et d’état.
• Via un Plugin (ComfyUI) lorsque vous avez besoin d’un graphe de workflow personnalisé ou d’un fournisseur qui ne fait pas partie de la fonctionnalité musicale partagée incluse.

​

Modes de fonctionnalité des fournisseurs

• generate pour la génération à partir d’une invite uniquement.
• edit lorsque la requête comprend une ou plusieurs images de référence.

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Tests en conditions réelles

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media:music

• google : generate et edit
• fal : generate uniquement
• minimax : generate uniquement
• openrouter : generate et edit
• comfy : couverture Comfy en conditions réelles distincte, hors de la campagne partagée des fournisseurs

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Pages connexes

• Tâches en arrière-plan — suivi des tâches pour les exécutions détachées de music_generate
• ComfyUI
• Référence de configuration — configuration de musicGenerationModel
• Google (Gemini)
• MiniMax
• Modèles — configuration des modèles et basculement
• Présentation des outils