realtime、ローカルまたはストリーミングの
stt-tts、観察専用の音声キャプチャ用の transcription です。これらのモードは、
テレフォニー、会議、ブラウザーのリアルタイム機能、ネイティブのプッシュトゥトーククライアントと、
プロバイダーカタログ、イベントエンベロープ、キャンセルのセマンティクスを共有します。
機能
画像生成
テキストプロンプトまたは参照画像から
image_generate を介して
画像を作成および編集します。チャットセッションでは非同期で、バックグラウンドで
実行され、準備が整うと結果を投稿します。動画生成
video_generate を介したテキストから動画、画像から動画、動画から動画への変換です。
非同期で、バックグラウンドで実行され、準備が整うと結果を投稿します。音楽生成
music_generate を介して音楽または音声トラックを生成します。チャット
セッションでは、共有メディア生成タスクのライフサイクル上で非同期に実行されます。テキスト読み上げ
tts ツールと tts 設定を使用して、
送信応答を音声に変換します。同期処理です。メディア理解
視覚対応モデルプロバイダーと専用のメディア理解 Plugin を使用して、
受信した画像、音声、動画を要約します。
音声テキスト変換
バッチ STT または Voice Call のストリーミング STT プロバイダーを介して、
受信した音声メッセージを文字起こしします。
プロバイダー機能マトリックス
この表は、専用のメディア生成、TTS、STT Plugin を対象としています。多くの
チャットモデルプロバイダー（Anthropic、Google、OpenAI など）も応答モデルを通じて
受信メディアを理解します。プロバイダーの完全な一覧については、
メディア理解を参照してください。
ここでのリアルタイム音声とは、プロバイダーネイティブの双方向リアルタイム機能
（Talk の
realtime モード。例: Gemini Live または OpenAI Realtime API）を意味し、
現在登録しているのは Google と OpenAI のみです。Deepgram、ElevenLabs、Mistral、OpenAI、xAI は
これとは別に Voice Call のストリーミング STT（音声からテキストへの一方向変換）を登録しています。以下の
音声テキスト変換と Voice Callを参照してください。
xAI のリアルタイム音声はアップストリームの機能ですが、共有リアルタイム音声契約で
表現できるようになるまで OpenClaw には登録されません。非同期と同期
非同期ツールでは、OpenClaw はリクエストをプロバイダーに送信し、タスク
id をすぐに返して、タスク台帳でジョブを追跡します。ジョブの実行中も、エージェントは
他のメッセージへの応答を続けます。プロバイダーの処理が完了すると、
OpenClaw は生成されたメディアのパスとともにエージェントを起動し、セッションの通常の可視応答モードで
ユーザーに通知できるようにします。設定されている場合は最終応答を
自動配信し、セッションでメッセージツールが必要な場合は
message(action="send") を使用します。
リクエスト元のセッションが非アクティブであるか、アクティブな起動に失敗し、
生成されたメディアの一部が完了応答に含まれていない場合、OpenClaw は
不足しているメディアのみを含む冪等な直接フォールバックを送信します。完了応答ですでに
配信されたメディアは再投稿されません。
音声テキスト変換と Voice Call
Deepgram、DeepInfra、ElevenLabs、Google、Groq、Mistral、OpenAI、OpenRouter、 SenseAudio、xAI は、設定されている場合、すべてバッチtools.media.audio 経路を通じて受信音声を文字起こしできます。メンションゲーティングや
コマンド解析のために音声メモを事前処理するチャンネル Plugin は、
文字起こし済みの添付ファイルを受信コンテキストに記録するため、共有メディア理解処理では
同じ音声に対して 2 回目の STT 呼び出しを行わず、その文字起こしを再利用します。
Deepgram、ElevenLabs、Mistral、OpenAI、xAI は Voice Call の
ストリーミング STT プロバイダーも登録しているため、録音の完了を待たずに
ライブ通話音声を選択したベンダーへ転送できます。
ライブのユーザー会話では、Talk モードを推奨します。バッチ音声
添付ファイルはメディア経路に留めます。ブラウザーのリアルタイム機能、ネイティブのプッシュトゥトーク、
テレフォニー、会議音声では、Talk イベントと Gateway が返すセッションスコープの
カタログを使用する必要があります。
プロバイダーマッピング（各ベンダーの機能面への分割方法）
Google
画像、動画、音楽、バッチ TTS、バッチ STT、バックエンドのリアルタイム音声、
メディア理解の各機能面を提供します。
OpenAI
OpenAI
画像、動画、バッチ TTS、バッチ STT、Voice Call のストリーミング STT、バックエンドの
リアルタイム音声、メモリ埋め込みの各機能面を提供します。
DeepInfra
DeepInfra
チャット／モデルルーティング、画像生成／編集、テキストから動画への変換、バッチ TTS、
バッチ STT、画像メディア理解、メモリ埋め込みの各機能面を提供します。
DeepInfra は再ランキング、分類、物体検出などの
ネイティブモデルタイプも公開していますが、OpenClaw にはそれらのカテゴリ向けの
プロバイダー契約がまだないため、この Plugin は登録しません。
xAI
xAI
画像、動画、検索、コード実行、バッチ TTS、バッチ STT、Voice
Call のストリーミング STT を提供します。xAI のリアルタイム音声はアップストリームの機能ですが、
共有リアルタイム音声契約で表現できるようになるまで
OpenClaw には登録されません。