Mode conversationnel

• Conversation native sur macOS/iOS/Android : reconnaissance vocale locale, discussion via le Gateway et synthèse vocale avec talk.speak. Les Nodes annoncent la capacité talk et déclarent les commandes talk.* qu’ils prennent en charge.
• Conversation iOS (temps réel) : WebRTC géré par le client pour les configurations OpenAI en temps réel qui sélectionnent le transport webrtc ou omettent le transport. Les configurations explicites gateway-relay, provider-websocket et les configurations en temps réel autres qu’OpenAI restent sur le relais géré par le Gateway ; les configurations qui ne sont pas en temps réel utilisent la boucle vocale native.
• Conversation dans le navigateur : talk.client.create pour les sessions webrtc/provider-websocket gérées par le client, ou talk.session.create pour les sessions gateway-relay gérées par le Gateway. managed-room est réservé au transfert par le Gateway et aux salles de type talkie-walkie.
• Conversation Android (temps réel) : activez-la avec talk.realtime.mode: "realtime" et talk.realtime.transport: "gateway-relay". Sinon, Android continue d’utiliser la reconnaissance vocale native, la discussion via le Gateway et talk.speak.
• Clients de transcription uniquement : talk.session.create({ mode: "transcription", transport: "gateway-relay", brain: "none" }), puis talk.session.appendAudio, talk.session.cancelTurn et talk.session.close pour le sous-titrage ou la dictée sans réponse vocale de l’assistant. Les notes vocales ponctuelles téléversées utilisent toujours le chemin audio de compréhension des médias.

​

Comportement (macOS)

• Superposition toujours visible lorsque le mode Conversation est activé.
• Transitions de phase Écoute → Réflexion → Parole.
• Lors d’une courte pause (fenêtre de silence), la transcription en cours est envoyée.
• Les réponses sont écrites dans WebChat (comme lors de la saisie).
• Interruption par la parole (activée par défaut) : si l’utilisateur parle pendant que l’assistant s’exprime, la lecture s’arrête et l’horodatage de l’interruption est enregistré pour la prochaine requête.

​

Directives vocales dans les réponses

{ "voice": "<voice-id>", "once": true }

• Uniquement la première ligne non vide ; la ligne JSON est supprimée avant la lecture TTS.
• Les clés inconnues sont ignorées.
• once: true s’applique uniquement à la réponse actuelle ; sans cette option, la voix devient la nouvelle valeur par défaut du mode Conversation.

​

Configuration (~/.openclaw/openclaw.json)

{
  talk: {
    provider: "elevenlabs",
    providers: {
      elevenlabs: {
        voiceId: "elevenlabs_voice_id",
        modelId: "eleven_v3",
        outputFormat: "mp3_44100_128",
        apiKey: "elevenlabs_api_key",
      },
      mlx: {
        modelId: "mlx-community/Soprano-80M-bf16",
      },
      system: {},
    },
    speechLocale: "ru-RU",
    silenceTimeoutMs: 1500,
    interruptOnSpeech: true,
    realtime: {
      provider: "openai",
      providers: {
        openai: {
          apiKey: "openai_api_key",
          model: "gpt-realtime-2.1",
          speakerVoice: "cedar",
        },
      },
      instructions: "Parlez chaleureusement et donnez des réponses brèves.",
      mode: "realtime",
      transport: "webrtc",
      brain: "agent-consult",
    },
  },
}

​

Interface macOS

• Bouton de la barre des menus : Talk
• Onglet de configuration : groupe Talk Mode (identifiant vocal + bouton d’interruption)
• Superposition : l’orbe affiche la forme d’onde universelle de Talk (partagée avec iOS, watchOS et Android). Lors de l’écoute, elle suit le niveau du microphone en direct ; lors de la parole, elle suit l’enveloppe réelle de lecture TTS ; pendant la réflexion, elle respire doucement. Cliquez sur l’orbe pour mettre en pause ou reprendre, double-cliquez pour arrêter la parole, puis cliquez sur X pour quitter le mode Talk.

​

Interface Android

• Bouton de l’onglet vocal : Talk
• Les modes de capture manuels Mic et Talk sont mutuellement exclusifs.
• Le microphone manuel et le mode Talk en temps réel privilégient le microphone d’un casque Bluetooth Classic ou BLE connecté ; en cas de déconnexion, l’application demande une autre entrée de casque ou utilise par défaut le microphone par défaut, puis rétablit la préférence par défaut une fois la capture terminée.
• Le microphone manuel s’arrête lorsque l’application quitte le premier plan ou que l’utilisateur quitte l’onglet vocal.
• Le mode Talk continue de fonctionner jusqu’à sa désactivation ou jusqu’à la déconnexion du Node, en utilisant le type de service de premier plan d’Android destiné au microphone lorsqu’il est actif.
• Android prend en charge les formats de sortie pcm_16000, pcm_22050, pcm_24000 et pcm_44100 pour le streaming AudioTrack à faible latence.

​

Remarques

• Nécessite les autorisations de reconnaissance vocale et d’accès au microphone.
• Le mode Talk natif utilise la session active du Gateway et ne recourt à l’interrogation de l’historique que lorsque les événements de réponse ne sont pas disponibles.
• Le Gateway gère la lecture de Talk via talk.speak en utilisant le fournisseur Talk actif. Android ne recourt au TTS local du système que lorsque ce RPC n’est pas disponible.
• La lecture MLX locale sous macOS utilise l’utilitaire openclaw-mlx-tts inclus lorsqu’il est présent, ou un exécutable disponible dans PATH. Définissez OPENCLAW_MLX_TTS_BIN pour indiquer un binaire d’utilitaire personnalisé pendant le développement.
• Plages de valeurs des directives vocales (ElevenLabs) : stability, similarity et style acceptent 0..1 ; speed accepte 0.5..2 ; latency_tier accepte 0..4.

​

Voir aussi

• Activation vocale
• Audio et notes vocales
• Compréhension des médias