Генерация музыки

​

Быстрый старт

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

/tool music_generate prompt="Warm ambient synth loop with soft tape texture"

Generate a cinematic piano track with soft strings and no vocals.

Generate an energetic chiptune loop about launching a rocket at sunrise.

​

Поддерживаемые провайдеры

​

Матрица возможностей

/tool music_generate action=list

/tool music_generate action=status

/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

​

Параметры инструмента

​

Асинхронное поведение

• Фоновая задача: music_generate создает фоновую задачу, сразу возвращает ответ о запуске/задаче и позже публикует готовый трек в последующем сообщении агента.
• Предотвращение дубликатов: пока задача находится в состоянии queued или running, последующие вызовы music_generate в той же сессии возвращают статус задачи вместо запуска другой генерации. Используйте action: "status" для явной проверки.
• Просмотр статуса: openclaw tasks list или openclaw tasks show <taskId> проверяет статусы в очереди, выполнения и терминальные статусы.
• Пробуждение при завершении: OpenClaw внедряет внутреннее событие завершения обратно в ту же сессию, чтобы модель могла сама написать пользовательское последующее сообщение.
• Подсказка запроса: последующие пользовательские/ручные ходы в той же сессии получают небольшую runtime-подсказку, когда музыкальная задача уже выполняется, чтобы модель не вызывала music_generate повторно вслепую.
• Резерв без сессии: прямые/локальные контексты без реальной сессии агента выполняются встроенно и возвращают итоговый результат аудио в том же ходе.

​

Жизненный цикл задачи

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Конфигурация

​

Выбор модели

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],
      },
    },
  },
}

​

Порядок выбора провайдера

1. Параметр model из вызова инструмента (если агент его указывает).
2. musicGenerationModel.primary из конфигурации.
3. musicGenerationModel.fallbacks по порядку.
4. Автообнаружение только с использованием значений провайдеров по умолчанию, подкрепленных аутентификацией:
   • текущий провайдер по умолчанию первым;
   • остальные зарегистрированные провайдеры генерации музыки в порядке id провайдера.

​

Примечания о провайдерах

​

Выбор правильного пути

• На основе общего провайдера, когда вам нужен выбор модели, переключение при сбое провайдера и встроенный асинхронный поток задач/статусов.
• Путь Plugin (ComfyUI), когда вам нужен пользовательский граф рабочего процесса или провайдер, который не является частью общей встроенной возможности генерации музыки.

​

Режимы возможностей провайдера

• generate для генерации только по промпту.
• edit, когда запрос включает одно или несколько референсных изображений.

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Тесты с реальными сервисами

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media music

• google: generate плюс edit
• fal: только generate
• minimax: только generate
• openrouter: generate плюс edit
• comfy: отдельное покрытие тестами Comfy с реальными сервисами, не общий обход провайдеров

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Связанные материалы

• Фоновые задачи — отслеживание задач для отсоединенных запусков music_generate
• ComfyUI
• Справочник конфигурации — конфигурация musicGenerationModel
• Google (Gemini)
• MiniMax
• Модели — конфигурация моделей и отработка отказа
• Обзор инструментов