Saltar al contenido principal
OpenClaw genera imágenes, videos y música, comprende medios entrantes (imágenes, audio, video) y pronuncia las respuestas en voz alta con texto a voz. Todas las capacidades de medios están impulsadas por herramientas: el agente decide cuándo usarlas según la conversación, y cada herramienta solo aparece cuando hay al menos un proveedor de respaldo configurado. La voz en vivo usa el contrato de sesión Talk en lugar de la ruta de herramienta de medios de una sola ejecución. Talk tiene tres modos: realtime nativo del proveedor, stt-tts local o en streaming, y transcription para captura de voz solo de observación. Esos modos comparten catálogos de proveedores, sobres de eventos y semántica de cancelación con telefonía, reuniones, tiempo real en navegador y clientes nativos de pulsar para hablar.

​
Capacidades

Image generation

Crea y edita imágenes a partir de prompts de texto o imágenes de referencia mediante image_generate. Asíncrono en sesiones de chat: se ejecuta en segundo plano y publica el resultado cuando está listo.

Video generation

Texto a video, imagen a video y video a video mediante video_generate. Asíncrono: se ejecuta en segundo plano y publica el resultado cuando está listo.

Music generation

Genera música o pistas de audio mediante music_generate. Asíncrono en sesiones de chat en el ciclo de vida compartido de tareas de generación de medios.

Text-to-speech

Convierte respuestas salientes en audio hablado mediante la herramienta tts y la configuración messages.tts. Síncrono.

Media understanding

Resume imágenes, audio y video entrantes con proveedores de modelos con capacidades de visión y plugins dedicados de comprensión de medios.

Speech-to-text

Transcribe mensajes de voz entrantes mediante STT por lotes o proveedores de STT en streaming de llamadas de voz.

​
Matriz de capacidades de proveedores

Esta tabla cubre los plugins dedicados de generación de medios, TTS y STT. Muchos proveedores de modelos de chat (Anthropic, Google, OpenAI y otros) también comprenden medios entrantes mediante su modelo de respuesta; consulta la lista completa de proveedores en Comprensión de medios.
ProveedorImagenVideoMúsicaTTSSTTVoz en tiempo realComprensión de medios
Alibaba✓
Azure Speech✓
BytePlus✓
ComfyUI✓✓✓
Deepgram✓
DeepInfra✓✓✓✓✓
ElevenLabs✓✓
fal✓✓✓
Google✓✓✓✓✓✓✓
Gradium✓
Inworld✓
LiteLLM✓
Local CLI✓
Microsoft✓
Microsoft Foundry✓
MiniMax✓✓✓✓
Mistral✓
OpenAI✓✓✓✓✓✓
OpenRouter✓✓✓✓✓✓
PixVerse✓
Qwen✓✓
Runway✓
SenseAudio✓
Together✓
Volcengine✓
Vydra✓✓✓
xAI✓✓✓✓✓
Xiaomi MiMo✓
Voz en tiempo real aquí significa tiempo real bidireccional nativo del proveedor (modo realtime de Talk, por ejemplo Gemini Live o la API Realtime de OpenAI): solo Google y OpenAI lo registran actualmente. Deepgram, ElevenLabs, Mistral, OpenAI y xAI registran por separado STT en streaming de llamadas de voz (audio a texto unidireccional); consulta Texto a voz y llamada de voz a continuación. La voz en tiempo real de xAI es una capacidad upstream, pero no se registra en OpenClaw hasta que el contrato compartido de voz en tiempo real pueda representarla.

​
Asíncrono frente a síncrono

CapacidadModoPor qué
ImagenAsíncronoEl procesamiento del proveedor puede durar más que un turno de chat; los adjuntos generados usan la ruta compartida de finalización.
Texto a vozSíncronoLas respuestas del proveedor se devuelven en segundos; se adjuntan al audio de respuesta.
VideoAsíncronoEl procesamiento del proveedor tarda de 30 s a varios minutos; las colas lentas pueden ejecutarse hasta el timeout configurado.
MúsicaAsíncronoLa misma característica de procesamiento del proveedor que el video.
Para las herramientas asíncronas, OpenClaw envía la solicitud al proveedor, devuelve un id de tarea de inmediato y rastrea el trabajo en el registro de tareas. El agente continúa respondiendo a otros mensajes mientras el trabajo se ejecuta. Cuando el proveedor termina, OpenClaw despierta al agente con las rutas de los medios generados para que pueda informar al usuario mediante el modo normal de respuesta visible de la sesión: entrega automática de la respuesta final cuando está configurada, o message(action="send") cuando la sesión requiere la herramienta de mensajes. Si la sesión solicitante está inactiva o su activación activa falla, y aún faltan algunos medios generados en la respuesta de finalización, OpenClaw envía una alternativa directa idempotente solo con los medios faltantes. Los medios ya entregados por la respuesta de finalización no se publican de nuevo.

​
Texto a voz y llamada de voz

Deepgram, DeepInfra, ElevenLabs, Google, Groq, Mistral, OpenAI, OpenRouter, SenseAudio y xAI pueden transcribir audio entrante mediante la ruta por lotes tools.media.audio cuando están configurados. Los plugins de canal que realizan una comprobación previa de una nota de voz para control de menciones o análisis de comandos marcan el adjunto transcrito en el contexto entrante, por lo que el paso compartido de comprensión de medios reutiliza esa transcripción en lugar de hacer una segunda llamada STT para el mismo audio. Deepgram, ElevenLabs, Mistral, OpenAI y xAI también registran proveedores de STT en streaming de llamadas de voz, por lo que el audio telefónico en vivo puede reenviarse al proveedor seleccionado sin esperar a una grabación completa. Para conversaciones de usuario en vivo, prefiere el modo Talk. Los adjuntos de audio por lotes permanecen en la ruta de medios; el tiempo real en navegador, pulsar para hablar nativo, telefonía y audio de reuniones deben usar eventos de Talk y los catálogos con alcance de sesión devueltos por el Gateway.

​
Asignaciones de proveedores (cómo los proveedores se dividen entre superficies)

Superficies de imagen, video, música, TTS por lotes, STT por lotes, voz en tiempo real de backend y comprensión de medios.
Superficies de imagen, video, TTS por lotes, STT por lotes, STT en streaming de llamadas de voz, voz en tiempo real de backend e incrustación de memoria.
Superficies de enrutamiento de chat/modelo, generación/edición de imágenes, texto a video, TTS por lotes, STT por lotes, comprensión de medios de imagen e incrustación de memoria. DeepInfra también expone reranking, clasificación, detección de objetos y otros tipos de modelos nativos; OpenClaw aún no tiene un contrato de proveedor para esas categorías, por lo que este plugin no las registra.
Imagen, video, búsqueda, ejecución de código, TTS por lotes, STT por lotes y STT en streaming de llamadas de voz. La voz en tiempo real de xAI es una capacidad upstream, pero no se registra en OpenClaw hasta que el contrato compartido de voz en tiempo real pueda representarla.

​
Relacionado