トークモード

• ネイティブ macOS/iOS/Android Talk: ローカル音声認識、Gateway チャット、talk.speak TTS。ノードは talk capability を通知し、対応する talk.* コマンドを宣言します。
• iOS Talk (リアルタイム): webrtc transport を選択する、または transport を省略する OpenAI リアルタイム設定では、クライアント所有の WebRTC を使います。明示的な gateway-relay、provider-websocket、および OpenAI 以外のリアルタイム設定は Gateway 所有のリレーに残ります。非リアルタイム設定ではネイティブ音声ループを使います。
• ブラウザー Talk: クライアント所有の webrtc/provider-websocket セッションには talk.client.create、Gateway 所有の gateway-relay セッションには talk.session.create を使います。managed-room は Gateway ハンドオフとトランシーバールーム用に予約されています。
• Android Talk (リアルタイム): talk.realtime.mode: "realtime" と talk.realtime.transport: "gateway-relay" でオプトインします。それ以外の場合、Android はネイティブ音声認識、Gateway チャット、talk.speak のままです。
• 文字起こし専用クライアント: アシスタントの音声応答なしでキャプション/ディクテーションを行うには、talk.session.create({ mode: "transcription", transport: "gateway-relay", brain: "none" }) の後に talk.session.appendAudio、talk.session.cancelTurn、talk.session.close を使います。1 回限りでアップロードされた音声メモは、引き続き メディア理解 の音声パスを使います。

​

動作 (macOS)

• Talk モードが有効な間は常時表示オーバーレイ。
• 聞き取り → 思考中 → 発話中 のフェーズ遷移。
• 短い無音 (無音ウィンドウ) の後、現在の文字起こしが送信されます。
• 返信は WebChat に書き込まれます (入力した場合と同じ)。
• 発話で割り込み (既定でオン): アシスタントが話している間にユーザーが話すと、再生が停止し、次のプロンプト用に割り込みタイムスタンプが記録されます。

​

返信内の音声ディレクティブ

{ "voice": "<voice-id>", "once": true }

• 最初の空でない行のみ。JSON 行は TTS 再生前に取り除かれます。
• 不明なキーは無視されます。
• once: true は現在の返信にのみ適用されます。指定しない場合、その音声が新しい Talk モードの既定になります。

​

設定 (~/.openclaw/openclaw.json)

{
  talk: {
    provider: "elevenlabs",
    providers: {
      elevenlabs: {
        voiceId: "elevenlabs_voice_id",
        modelId: "eleven_v3",
        outputFormat: "mp3_44100_128",
        apiKey: "elevenlabs_api_key",
      },
      mlx: {
        modelId: "mlx-community/Soprano-80M-bf16",
      },
      system: {},
    },
    speechLocale: "ru-RU",
    silenceTimeoutMs: 1500,
    interruptOnSpeech: true,
    realtime: {
      provider: "openai",
      providers: {
        openai: {
          apiKey: "openai_api_key",
          model: "gpt-realtime-2",
          speakerVoice: "cedar",
        },
      },
      instructions: "Speak warmly and keep answers brief.",
      mode: "realtime",
      transport: "webrtc",
      brain: "agent-consult",
    },
  },
}

​

macOS UI

• メニューバーの切り替え: トーク
• 設定タブ: トークモード グループ（音声 ID + 割り込み切り替え）
• オーバーレイ: リスニング（雲がマイクレベルに合わせて脈動）→ 思考中（沈み込むアニメーション）→ 発話中（放射状のリング）。雲をクリックすると発話を停止し、X をクリックするとトークモードを終了します。

​

Android UI

• 音声タブの切り替え: トーク
• 手動 マイク と トーク は相互排他的なキャプチャモードです。
• 手動マイクとリアルタイムトークは、接続済みの Bluetooth Classic または BLE ヘッドセットマイクを優先します。切断された場合、アプリは別のヘッドセット入力を要求するか、デフォルトのマイクにフォールバックし、キャプチャが停止するとデフォルト設定を復元します。
• 手動マイクは、アプリがフォアグラウンドを離れた場合、またはユーザーが音声タブを離れた場合に停止します。
• トークモードは、切り替えでオフにされるかノードが切断されるまで実行され続け、アクティブな間は Android のマイク用フォアグラウンドサービス種別を使用します。
• Android は、低遅延の AudioTrack ストリーミング向けに pcm_16000、pcm_22050、pcm_24000、pcm_44100 出力形式をサポートします。

​

メモ

• 音声認識 + マイク権限が必要です。
• ネイティブトークはアクティブな Gateway セッションを使用し、応答イベントが利用できない場合にのみ履歴ポーリングへフォールバックします。
• Gateway は、アクティブなトークプロバイダーを使用して talk.speak 経由でトーク再生を解決します。Android は、その RPC が利用できない場合にのみローカルシステム TTS へフォールバックします。
• macOS のローカル MLX 再生は、存在する場合は同梱の openclaw-mlx-tts ヘルパーを使用し、または PATH 上の実行可能ファイルを使用します。開発中にカスタムヘルパーバイナリを指すには、OPENCLAW_MLX_TTS_BIN を設定します。
• 音声ディレクティブの値範囲（ElevenLabs）: stability、similarity、style は 0..1 を受け付けます。speed は 0.5..2 を受け付けます。latency_tier は 0..4 を受け付けます。

​

関連

• 音声ウェイク
• 音声とボイスメモ
• メディア理解