Modalità conversazione

• Talk nativo su macOS/iOS/Android: riconoscimento vocale locale, chat del Gateway e TTS tramite talk.speak. I Node pubblicizzano la funzionalità talk e dichiarano quali comandi talk.* supportano.
• Talk su iOS (in tempo reale): WebRTC gestito dal client per le configurazioni in tempo reale di OpenAI che selezionano il trasporto webrtc o lo omettono. Le configurazioni in tempo reale con gateway-relay, provider-websocket espliciti e quelle non OpenAI restano sul relay gestito dal Gateway; le configurazioni non in tempo reale usano il ciclo vocale nativo.
• Talk nel browser: talk.client.create per sessioni webrtc/provider-websocket gestite dal client oppure talk.session.create per sessioni gateway-relay gestite dal Gateway. managed-room è riservato al passaggio di controllo al Gateway e alle stanze walkie-talkie.
• Talk su Android (in tempo reale): attivalo con talk.realtime.mode: "realtime" e talk.realtime.transport: "gateway-relay". In caso contrario, Android continua a usare il riconoscimento vocale nativo, la chat del Gateway e talk.speak.
• Client di sola trascrizione: talk.session.create({ mode: "transcription", transport: "gateway-relay", brain: "none" }), quindi talk.session.appendAudio, talk.session.cancelTurn e talk.session.close per sottotitoli/dettatura senza una risposta vocale dell’assistente. Le note vocali caricate ed elaborate una sola volta continuano a usare il percorso audio della comprensione dei contenuti multimediali.

​

Comportamento (macOS)

• Sovrapposizione sempre visibile mentre la modalità Talk è abilitata.
• Transizioni di fase Ascolto → Elaborazione → Riproduzione vocale.
• Dopo una breve pausa (intervallo di silenzio), viene inviata la trascrizione corrente.
• Le risposte vengono scritte in WebChat (come quando si digita).
• Interruzione al rilevamento del parlato (attiva per impostazione predefinita): se l’utente parla mentre l’assistente sta riproducendo la risposta vocale, la riproduzione si interrompe e il timestamp dell’interruzione viene annotato per il prompt successivo.

​

Direttive vocali nelle risposte

{ "voice": "<voice-id>", "once": true }

• Solo la prima riga non vuota; la riga JSON viene rimossa prima della riproduzione TTS.
• Le chiavi sconosciute vengono ignorate.
• once: true si applica solo alla risposta corrente; senza questa opzione, la voce diventa la nuova impostazione predefinita della modalità Talk.

​

Configurazione (~/.openclaw/openclaw.json)

{
  talk: {
    provider: "elevenlabs",
    providers: {
      elevenlabs: {
        voiceId: "elevenlabs_voice_id",
        modelId: "eleven_v3",
        outputFormat: "mp3_44100_128",
        apiKey: "elevenlabs_api_key",
      },
      mlx: {
        modelId: "mlx-community/Soprano-80M-bf16",
      },
      system: {},
    },
    speechLocale: "ru-RU",
    silenceTimeoutMs: 1500,
    interruptOnSpeech: true,
    realtime: {
      provider: "openai",
      providers: {
        openai: {
          apiKey: "openai_api_key",
          model: "gpt-realtime-2.1",
          speakerVoice: "cedar",
        },
      },
      instructions: "Parla con calore e mantieni brevi le risposte.",
      mode: "realtime",
      transport: "webrtc",
      brain: "agent-consult",
    },
  },
}

​

Interfaccia utente macOS

• Interruttore nella barra dei menu: Talk
• Scheda di configurazione: gruppo Modalità Talk (ID voce + interruttore per l’interruzione)
• Sovrimpressione: la sfera visualizza la forma d’onda universale di Talk (condivisa con iOS, watchOS e Android). Durante l’ascolto segue il livello del microfono in tempo reale, durante la riproduzione segue l’inviluppo effettivo della riproduzione TTS, mentre durante l’elaborazione pulsa delicatamente. Fai clic sulla sfera per mettere in pausa/riprendere, fai doppio clic per interrompere la riproduzione vocale e fai clic sulla X per uscire dalla modalità Talk.

​

Interfaccia utente Android

• Interruttore della scheda Voce: Talk
• Microfono manuale e Talk sono modalità di acquisizione che si escludono a vicenda.
• Il microfono manuale e Talk in tempo reale preferiscono il microfono di una cuffia Bluetooth Classic o BLE connessa; se si disconnette, l’app richiede un altro ingresso da cuffia oppure torna al microfono predefinito, ripristinando la preferenza predefinita al termine dell’acquisizione.
• Il microfono manuale si arresta quando l’app non è più in primo piano o l’utente lascia la scheda Voce.
• La modalità Talk continua a funzionare finché non viene disattivata o il Node non si disconnette, utilizzando il tipo di servizio in primo piano per il microfono di Android mentre è attiva.
• Android supporta i formati di uscita pcm_16000, pcm_22050, pcm_24000 e pcm_44100 per lo streaming AudioTrack a bassa latenza.

​

Note

• Richiede le autorizzazioni per il riconoscimento vocale e il microfono.
• Talk nativo utilizza la sessione attiva del Gateway e ricorre al polling della cronologia solo quando gli eventi di risposta non sono disponibili.
• Il Gateway gestisce la riproduzione di Talk tramite talk.speak, utilizzando il provider Talk attivo. Android ricorre al TTS locale di sistema solo quando tale RPC non è disponibile.
• La riproduzione MLX locale su macOS utilizza l’helper openclaw-mlx-tts incluso, se presente, oppure un eseguibile disponibile in PATH. Imposta OPENCLAW_MLX_TTS_BIN in modo che punti a un binario helper personalizzato durante lo sviluppo.
• Intervalli dei valori delle direttive vocali (ElevenLabs): stability, similarity e style accettano 0..1; speed accetta 0.5..2; latency_tier accetta 0..4.

​

Contenuti correlati

• Attivazione vocale
• Audio e note vocali
• Comprensione dei contenuti multimediali