Генерация музыки

​

Быстрый старт

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

/tool music_generate prompt="Тёплый эмбиентный синтезаторный цикл с мягкой плёночной текстурой"

Создай кинематографичный фортепианный трек с мягкими струнными без вокала.

Создай энергичный чиптюн-цикл о запуске ракеты на рассвете.

/tool music_generate action=list
/tool music_generate action=status

/tool music_generate prompt="Мечтательный lo-fi-хип-хоп с виниловой текстурой и лёгким дождём" instrumental=true

​

Поддерживаемые провайдеры

​

Матрица возможностей

​

Параметры инструмента

​

Асинхронное поведение

• Фоновая задача: music_generate создаёт фоновую задачу, немедленно возвращает ответ о запуске и задаче, а позднее публикует готовый трек в последующем сообщении агента.
• Предотвращение дубликатов: пока задача находится в состоянии queued или running, последующие вызовы music_generate в том же сеансе возвращают состояние задачи вместо запуска новой генерации. Для явной проверки используйте action: "status". Недавно завершённый совпадающий запрос также дедуплицируется в течение 2 минут.
• Проверка состояния: openclaw tasks list или openclaw tasks show <taskId> показывает состояние в очереди, выполнения и завершения.
• Пробуждение после завершения: OpenClaw внедряет внутреннее событие завершения обратно в тот же сеанс, чтобы модель могла самостоятельно написать последующий ответ пользователю.
• Подсказка в запросе: последующие пользовательские или ручные обращения в том же сеансе получают небольшую подсказку среды выполнения, если музыкальная задача уже выполняется, чтобы модель не вызывала music_generate повторно вслепую.
• Резервный вариант без сеанса: прямые или локальные контексты без настоящего сеанса агента выполняются синхронно и возвращают итоговое аудио в том же обращении.

​

Жизненный цикл задачи

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Конфигурация

​

Выбор модели

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],
      },
    },
  },
}

​

Порядок выбора провайдера

1. Параметр model из вызова инструмента (если агент его указал).
2. musicGenerationModel.primary из конфигурации.
3. musicGenerationModel.fallbacks по порядку.
4. Автоматическое обнаружение только по значениям провайдеров по умолчанию с настроенной аутентификацией:
   • сначала текущий провайдер текстовой модели по умолчанию, если он также предоставляет генерацию музыки;
   • затем остальные зарегистрированные провайдеры генерации музыки в алфавитном порядке по идентификатору провайдера.

​

Примечания о провайдерах

​

Выбор подходящего пути

• На основе общего провайдера — если вам нужны выбор модели, переключение на резервного провайдера и встроенный асинхронный процесс задач и статусов.
• Путь плагина (ComfyUI) — если вам нужен пользовательский граф рабочего процесса или провайдер, который не входит в общую встроенную возможность генерации музыки.

​

Режимы возможностей провайдеров

• generate для генерации только по промпту.
• edit, когда запрос содержит одно или несколько эталонных изображений.

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Тесты в реальной среде

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media:music

• google: generate и edit
• fal: только generate
• minimax: только generate
• openrouter: generate и edit
• comfy: отдельное тестирование Comfy в реальной среде, не входящее в общую проверку провайдеров

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Связанные материалы

• Фоновые задачи — отслеживание задач для отсоединённых запусков music_generate
• ComfyUI
• Справочник по конфигурации — конфигурация musicGenerationModel
• Google (Gemini)
• MiniMax
• Модели — настройка моделей и переключение на резервную модель
• Обзор инструментов