Pembuatan musik

​

Mulai cepat

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
      },
    },
  },
}

/tool music_generate prompt="Warm ambient synth loop with soft tape texture"

Generate a cinematic piano track with soft strings and no vocals.

Generate an energetic chiptune loop about launching a rocket at sunrise.

/tool music_generate action=list
/tool music_generate action=status

/tool music_generate prompt="Dreamy lo-fi hip hop with vinyl texture and gentle rain" instrumental=true

​

Penyedia yang didukung

​

Matriks kapabilitas

​

Parameter alat

​

Perilaku asinkron

• Tugas latar belakang: music_generate membuat tugas latar belakang, langsung mengembalikan respons dimulai/tugas, dan mengirimkan trek yang telah selesai nanti dalam pesan agen tindak lanjut.
• Pencegahan duplikasi: selama tugas berstatus queued atau running, pemanggilan music_generate berikutnya dalam sesi yang sama mengembalikan status tugas alih-alih memulai pembuatan lain. Gunakan action: "status" untuk memeriksanya secara eksplisit. Permintaan cocok yang baru saja selesai juga dideduplikasi selama 2 menit.
• Pencarian status: openclaw tasks list atau openclaw tasks show <taskId> memeriksa status dalam antrean, berjalan, dan terminal.
• Aktivasi penyelesaian: OpenClaw menyuntikkan kembali peristiwa penyelesaian internal ke sesi yang sama agar model dapat menulis sendiri tindak lanjut yang ditampilkan kepada pengguna.
• Petunjuk perintah: giliran pengguna/manual berikutnya dalam sesi yang sama mendapatkan petunjuk runtime singkat ketika tugas musik sedang berlangsung, agar model tidak memanggil music_generate lagi tanpa pertimbangan.
• Fallback tanpa sesi: konteks langsung/lokal tanpa sesi agen nyata berjalan secara inline dan mengembalikan hasil audio akhir pada giliran yang sama.

​

Siklus hidup tugas

openclaw tasks list
openclaw tasks show <taskId>
openclaw tasks cancel <taskId>

​

Konfigurasi

​

Pemilihan model

{
  agents: {
    defaults: {
      musicGenerationModel: {
        primary: "google/lyria-3-clip-preview",
        fallbacks: ["fal/fal-ai/minimax-music/v2.6", "minimax/music-2.6"],
      },
    },
  },
}

​

Urutan pemilihan penyedia

1. Parameter model dari pemanggilan alat (jika agen menentukannya).
2. musicGenerationModel.primary dari konfigurasi.
3. musicGenerationModel.fallbacks secara berurutan.
4. Deteksi otomatis hanya menggunakan bawaan penyedia berbasis autentikasi:
   • penyedia model teks bawaan saat ini terlebih dahulu, jika juga menawarkan pembuatan musik;
   • penyedia pembuatan musik terdaftar lainnya, diurutkan menurut abjad berdasarkan ID penyedia.

​

Catatan penyedia

​

Memilih jalur yang tepat

• Didukung penyedia bersama ketika Anda menginginkan pemilihan model, pengalihan penyedia saat gagal, dan alur tugas/status asinkron bawaan.
• Jalur Plugin (ComfyUI) ketika Anda memerlukan graf alur kerja khusus atau penyedia yang bukan bagian dari kemampuan musik bersama bawaan.

​

Mode kemampuan penyedia

• generate untuk pembuatan hanya dari perintah.
• edit ketika permintaan menyertakan satu atau beberapa gambar referensi.

capabilities: {
  generate: {
    maxTracks: 1,
    supportsLyrics: true,
    supportsFormat: true,
  },
  edit: {
    enabled: true,
    maxTracks: 1,
    maxInputImages: 1,
    supportsFormat: true,
  },
}

​

Pengujian langsung

OPENCLAW_LIVE_TEST=1 pnpm test:live -- extensions/music-generation-providers.live.test.ts

pnpm test:live:media:music

• google: generate serta edit
• fal: hanya generate
• minimax: hanya generate
• openrouter: generate serta edit
• comfy: cakupan langsung Comfy yang terpisah, bukan bagian dari rangkaian penyedia bersama

OPENCLAW_LIVE_TEST=1 COMFY_LIVE_TEST=1 pnpm test:live -- extensions/comfy/comfy.live.test.ts

​

Terkait

• Tugas latar belakang — pelacakan tugas untuk proses music_generate yang berjalan terpisah
• ComfyUI
• Referensi konfigurasi — konfigurasi musicGenerationModel
• Google (Gemini)
• MiniMax
• Model — konfigurasi model dan pengalihan saat gagal
• Ikhtisar alat