realtime、本地或流式
stt-tts,以及用于仅观察式语音捕获的 transcription。这些模式
与电话、会议、浏览器实时通信和原生按键通话客户端
共享提供商目录、事件信封和取消语义。
能力
图像生成
通过
image_generate,根据文本提示词或参考图像创建和编辑图像。
在聊天会话中异步执行——在后台运行,并在准备就绪后
发布结果。视频生成
通过
video_generate 实现文本生成视频、图像生成视频和视频转换视频。
异步执行——在后台运行,并在准备就绪后发布结果。音乐生成
通过
music_generate 生成音乐或音轨。在聊天
会话中基于共享的媒体生成任务生命周期异步执行。文本转语音
通过
tts 工具和 tts 配置,
将出站回复转换为语音音频。同步执行。媒体理解
使用具备视觉能力的模型提供商和专用媒体理解插件,
总结入站图像、音频和视频。
语音转文本
通过批量 STT 或语音通话流式 STT 提供商
转录入站语音消息。
提供商能力矩阵
此表涵盖专用的媒体生成、TTS 和 STT 插件。许多
聊天模型提供商(Anthropic、Google、OpenAI 等)也能通过其回复模型
理解入站媒体;完整提供商列表请参阅
媒体理解。
此处的实时语音是指提供商原生的双向实时通信(Talk
realtime 模式,例如 Gemini Live 或 OpenAI Realtime API)——目前仅 Google
和 OpenAI 注册了该能力。Deepgram、ElevenLabs、Mistral、OpenAI 和 xAI
另行注册了语音通话流式 STT(单向音频转文本);请参阅下文的
语音转文本和语音通话。
xAI 实时语音是一项上游能力,但在共享实时语音契约能够表示它之前,
不会在 OpenClaw 中注册。异步与同步
对于异步工具,OpenClaw 将请求提交给提供商,立即返回任务
ID,并在任务账本中跟踪该作业。作业运行期间,智能体会继续
响应其他消息。提供商完成后,
OpenClaw 会使用生成的媒体路径唤醒智能体,使其可通过会话的正常可见回复模式告知
用户:配置后自动发送最终回复,
或在会话要求使用消息工具时使用
message(action="send")。
如果请求方会话处于非活动状态或其主动唤醒失败,
且完成回复中仍缺少部分生成的媒体,
OpenClaw 会发送一次幂等的直接回退,其中仅包含缺失的媒体。已通过
完成回复发送的媒体不会再次发布。
语音转文本和语音通话
配置后,Deepgram、DeepInfra、ElevenLabs、Google、Groq、Mistral、OpenAI、OpenRouter、 SenseAudio 和 xAI 均可通过批量tools.media.audio 路径转录入站音频。为提及门控或命令解析预检
语音消息的渠道插件会在入站上下文中标记已转录的
附件,因此共享媒体理解流程会
复用该转录文本,而不会对同一段
音频再次发起 STT 调用。
Deepgram、ElevenLabs、Mistral、OpenAI 和 xAI 还注册了语音通话
流式 STT 提供商,因此实时电话音频无需等待录音完成,
即可转发到选定的供应商。
对于实时用户对话,优先使用 Talk 模式。批量音频
附件仍使用媒体路径;浏览器实时通信、原生按键通话、
电话和会议音频应使用 Talk 事件,以及 Gateway 网关返回的会话范围
目录。
提供商映射(供应商如何分布于各个功能面)
Google
图像、视频、音乐、批量 TTS、批量 STT、后端实时语音和
媒体理解功能面。
OpenAI
OpenAI
图像、视频、批量 TTS、批量 STT、语音通话流式 STT、后端
实时语音和记忆嵌入功能面。
DeepInfra
DeepInfra
聊天/模型路由、图像生成/编辑、文本生成视频、批量 TTS、
批量 STT、图像媒体理解和记忆嵌入功能面。
DeepInfra 还提供重排序、分类、对象检测和
其他原生模型类型;OpenClaw 尚未针对这些
类别提供提供商契约,因此此插件不会注册它们。
xAI
xAI
图像、视频、搜索、代码执行、批量 TTS、批量 STT 和语音
通话流式 STT。xAI 实时语音是一项上游能力,但在
共享实时语音契约能够表示它之前,不会在 OpenClaw 中
注册。