Генерація музики

​

Швидкий старт

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

/tool music_generate prompt="Warm ambient synth loop with soft tape texture"

Generate a cinematic piano track with soft strings and no vocals.

Generate an energetic chiptune loop about launching a rocket at sunrise.

​

Підтримувані провайдери

​

Матриця можливостей

/tool music_generate action=list

/tool music_generate action=status

/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

​

Параметри інструмента

​

Асинхронна поведінка

• Фонове завдання: music_generate створює фонове завдання, негайно повертає відповідь про запуск/завдання, а пізніше публікує готовий трек у наступному повідомленні агента.
• Запобігання дублюванню: доки завдання має стан queued або running, подальші виклики music_generate у тій самій сесії повертають статус завдання замість запуску ще однієї генерації. Використовуйте action: "status", щоб перевірити явно.
• Перегляд статусу: openclaw tasks list або openclaw tasks show <taskId> показує статус queued, running і термінальний статус.
• Пробудження після завершення: OpenClaw вводить внутрішню подію завершення назад у ту саму сесію, щоб модель сама могла написати наступну відповідь для користувача.
• Підказка prompt: подальші користувацькі/ручні ходи в тій самій сесії отримують невелику runtime-підказку, коли завдання генерації музики вже виконується, щоб модель не викликала music_generate наосліп знову.
• Резервний варіант без сесії: прямі/локальні контексти без реальної сесії агента виконуються вбудовано й повертають фінальний аудіорезультат у тому самому ході.

​

Життєвий цикл завдання

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Конфігурація

​

Вибір моделі

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],
      },
    },
  },
}

​

Порядок вибору провайдера

1. Параметр model із виклику інструмента (якщо агент його вказує).
2. musicGenerationModel.primary з конфігурації.
3. musicGenerationModel.fallbacks за порядком.
4. Автовиявлення лише за замовчуваннями провайдера з налаштованою автентифікацією:
   • спочатку поточний провайдер за замовчуванням;
   • решта зареєстрованих провайдерів генерації музики в порядку provider-id.

​

Примітки щодо провайдерів

​

Вибір правильного шляху

• Спільний шлях із підтримкою провайдерів — коли потрібні вибір моделі, перемикання між провайдерами у разі збою та вбудований асинхронний потік завдання/статусу.
• Шлях Plugin (ComfyUI) — коли потрібен власний граф workflow або провайдер, який не входить до спільної вбудованої можливості генерації музики.

​

Режими можливостей провайдера

• generate для генерації лише за промптом.
• edit, коли запит містить одне або більше еталонних зображень.

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Live-тести

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media music

• google: generate плюс edit
• fal: лише generate
• minimax: лише generate
• openrouter: generate плюс edit
• comfy: окреме live-покриття Comfy, не спільний обхід провайдерів

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Пов’язане

• Фонові завдання — відстеження завдань для від’єднаних запусків music_generate
• ComfyUI
• Довідник конфігурації — конфігурація musicGenerationModel
• Google (Gemini)
• MiniMax
• Моделі — конфігурація моделей і перемикання після збою
• Огляд інструментів