Geração de música

​

Início rápido

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

/tool music_generate prompt="Warm ambient synth loop with soft tape texture"

Generate a cinematic piano track with soft strings and no vocals.

Generate an energetic chiptune loop about launching a rocket at sunrise.

/tool music_generate action=list
/tool music_generate action=status

/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

​

Provedores compatíveis

​

Matriz de recursos

​

Parâmetros da ferramenta

​

Comportamento assíncrono

• Tarefa em segundo plano: music_generate cria uma tarefa em segundo plano, retorna imediatamente uma resposta de início/tarefa e publica a faixa concluída depois, em uma mensagem de acompanhamento do agente.
• Prevenção de duplicatas: enquanto uma tarefa estiver queued ou running, chamadas posteriores de music_generate na mesma sessão retornam o status da tarefa em vez de iniciar outra geração. Use action: "status" para verificar explicitamente. Uma solicitação correspondente concluída recentemente também é deduplicada por 2 minutos.
• Consulta de status: openclaw tasks list ou openclaw tasks show <taskId> inspeciona os status na fila, em execução e terminais.
• Reativação após a conclusão: o OpenClaw injeta um evento interno de conclusão de volta na mesma sessão para que o próprio modelo possa escrever a mensagem de acompanhamento voltada ao usuário.
• Dica no prompt: interações posteriores do usuário/manuais na mesma sessão recebem uma pequena dica em tempo de execução quando uma tarefa de música já está em andamento, para que o modelo não chame music_generate novamente sem necessidade.
• Fallback sem sessão: contextos diretos/locais sem uma sessão real de agente são executados em linha e retornam o resultado final do áudio na mesma interação.

​

Ciclo de vida da tarefa

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Configuração

​

Seleção de modelo

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],
      },
    },
  },
}

​

Ordem de seleção de provedores

1. Parâmetro model da chamada da ferramenta (se o agente especificar um).
2. musicGenerationModel.primary da configuração.
3. musicGenerationModel.fallbacks na ordem definida.
4. Detecção automática usando somente os padrões de provedores com autenticação:
   • primeiro, o provedor padrão atual do modelo de texto, se ele também oferecer geração de música;
   • depois, os demais provedores de geração de música registrados, em ordem alfabética por ID de provedor.

​

Observações sobre os provedores

​

Como escolher o caminho certo

• Baseado em provedor compartilhado quando você quer seleção de modelo, failover de provedor e o fluxo assíncrono integrado de tarefa/status.
• Caminho de Plugin (ComfyUI) quando você precisa de um grafo de fluxo de trabalho personalizado ou de um provedor que não faça parte do recurso compartilhado e incluído de música.

​

Modos de recurso do provedor

• generate para geração somente por prompt.
• edit quando a solicitação inclui uma ou mais imagens de referência.

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Testes em ambiente real

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media:music

• google: generate e edit
• fal: somente generate
• minimax: somente generate
• openrouter: generate e edit
• comfy: cobertura separada do Comfy em ambiente real, fora da bateria compartilhada de provedores

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Relacionados

• Tarefas em segundo plano — acompanhamento de tarefas para execuções desacopladas de music_generate
• ComfyUI
• Referência de configuração — configuração musicGenerationModel
• Google (Gemini)
• MiniMax
• Modelos — configuração e failover de modelos
• Visão geral das ferramentas