Генерування музики

​

Швидкий початок

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

/tool music_generate prompt="Warm ambient synth loop with soft tape texture"

Generate a cinematic piano track with soft strings and no vocals.

Generate an energetic chiptune loop about launching a rocket at sunrise.

/tool music_generate action=list
/tool music_generate action=status

/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

​

Підтримувані провайдери

​

Матриця можливостей

​

Параметри інструмента

​

Асинхронна поведінка

• Фонове завдання: music_generate створює фонове завдання, негайно повертає відповідь про запуск і завдання, а згодом публікує готову композицію в наступному повідомленні агента.
• Запобігання дублюванню: доки завдання має стан queued або running, подальші виклики music_generate у тому самому сеансі повертають стан завдання замість запуску ще однієї генерації. Для явної перевірки використовуйте action: "status". Нещодавно завершений ідентичний запит також дедуплікується протягом 2 хвилин.
• Перегляд стану: openclaw tasks list або openclaw tasks show <taskId> показує стан завдань у черзі, у процесі виконання та в кінцевому стані.
• Активація після завершення: OpenClaw додає внутрішню подію завершення назад у той самий сеанс, щоб модель могла самостійно написати подальшу відповідь користувачеві.
• Підказка в запиті: подальші користувацькі або ручні звернення в тому самому сеансі отримують невелику підказку середовища виконання, якщо музичне завдання вже виконується, щоб модель не викликала music_generate повторно без перевірки.
• Резервний варіант без сеансу: прямі або локальні контексти без справжнього сеансу агента виконуються вбудовано й повертають готовий аудіорезультат у тому самому зверненні.

​

Життєвий цикл завдання

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Конфігурація

​

Вибір моделі

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],
      },
    },
  },
}

​

Порядок вибору провайдерів

1. Параметр model із виклику інструмента (якщо агент його вказує).
2. musicGenerationModel.primary із конфігурації.
3. Елементи musicGenerationModel.fallbacks по черзі.
4. Автоматичне виявлення лише за типовими значеннями провайдерів із налаштованою автентифікацією:
   • спочатку поточний типовий провайдер текстової моделі, якщо він також підтримує генерацію музики;
   • решта зареєстрованих провайдерів генерації музики в алфавітному порядку за ідентифікатором провайдера.

​

Примітки щодо провайдерів

​

Вибір правильного шляху

• Через спільного провайдера, якщо потрібні вибір моделі, перемикання на резервного провайдера та вбудований асинхронний процес завдання/стану.
• Шлях plugin (ComfyUI), якщо потрібен власний граф робочого процесу або провайдер, який не входить до спільної вбудованої можливості генерації музики.

​

Режими можливостей провайдера

• generate для генерації лише за текстовим запитом.
• edit, коли запит містить одне або кілька еталонних зображень.

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Тести в реальному середовищі

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media:music

• google: generate і edit
• fal: лише generate
• minimax: лише generate
• openrouter: generate і edit
• comfy: окреме покриття Comfy у реальному середовищі, поза спільним проходом провайдерів

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Пов’язані матеріали

• Фонові завдання — відстеження завдань для відокремлених запусків music_generate
• ComfyUI
• Довідник із конфігурації — конфігурація musicGenerationModel
• Google (Gemini)
• MiniMax
• Моделі — конфігурація моделей і перемикання на резервну модель
• Огляд інструментів