Tryb rozmowy

• Natywna rozmowa w macOS/iOS/Androidzie: lokalne rozpoznawanie mowy, czat przez Gateway oraz synteza mowy TTS za pomocą talk.speak. Węzły ogłaszają funkcję talk i deklarują, które polecenia talk.* obsługują.
• Rozmowa w iOS (w czasie rzeczywistym): WebRTC zarządzane przez klienta dla konfiguracji OpenAI czasu rzeczywistego, które wybierają transport webrtc lub go pomijają. Jawne konfiguracje czasu rzeczywistego gateway-relay, provider-websocket oraz konfiguracje dostawców innych niż OpenAI pozostają na przekaźniku zarządzanym przez Gateway; konfiguracje niedziałające w czasie rzeczywistym używają natywnej pętli obsługi mowy.
• Rozmowa w przeglądarce: talk.client.create dla zarządzanych przez klienta sesji webrtc/provider-websocket albo talk.session.create dla zarządzanych przez Gateway sesji gateway-relay. Wartość managed-room jest zarezerwowana dla przekazywania obsługi przez Gateway i pokojów typu krótkofalówka.
• Rozmowa w Androidzie (w czasie rzeczywistym): włącz ją za pomocą talk.realtime.mode: "realtime" i talk.realtime.transport: "gateway-relay". W przeciwnym razie Android nadal korzysta z natywnego rozpoznawania mowy, czatu przez Gateway oraz talk.speak.
• Klienci obsługujący wyłącznie transkrypcję: talk.session.create({ mode: "transcription", transport: "gateway-relay", brain: "none" }), a następnie talk.session.appendAudio, talk.session.cancelTurn i talk.session.close do napisów lub dyktowania bez głosowej odpowiedzi asystenta. Jednorazowo przesyłane notatki głosowe nadal korzystają ze ścieżki dźwiękowej rozumienia multimediów.

​

Zachowanie (macOS)

• Nakładka jest stale widoczna, gdy tryb rozmowy jest włączony.
• Przejścia między fazami Słuchanie → Myślenie → Mówienie.
• Po krótkiej przerwie (oknie ciszy) bieżąca transkrypcja zostaje wysłana.
• Odpowiedzi są zapisywane w WebChat (tak samo jak podczas pisania).
• Przerywanie mową (domyślnie włączone): jeśli użytkownik zacznie mówić, gdy asystent odtwarza wypowiedź, odtwarzanie zostaje zatrzymane, a znacznik czasu przerwania jest zapisywany na potrzeby następnego polecenia.

​

Dyrektywy głosowe w odpowiedziach

{ "voice": "<voice-id>", "once": true }

• Wyłącznie pierwszy niepusty wiersz; wiersz JSON jest usuwany przed odtworzeniem TTS.
• Nieznane klucze są ignorowane.
• once: true ma zastosowanie tylko do bieżącej odpowiedzi; bez tej opcji głos staje się nowym domyślnym głosem trybu rozmowy.

​

Konfiguracja (~/.openclaw/openclaw.json)

{
  talk: {
    provider: "elevenlabs",
    providers: {
      elevenlabs: {
        voiceId: "elevenlabs_voice_id",
        modelId: "eleven_v3",
        outputFormat: "mp3_44100_128",
        apiKey: "elevenlabs_api_key",
      },
      mlx: {
        modelId: "mlx-community/Soprano-80M-bf16",
      },
      system: {},
    },
    speechLocale: "ru-RU",
    silenceTimeoutMs: 1500,
    interruptOnSpeech: true,
    realtime: {
      provider: "openai",
      providers: {
        openai: {
          apiKey: "openai_api_key",
          model: "gpt-realtime-2.1",
          speakerVoice: "cedar",
        },
      },
      instructions: "Speak warmly and keep answers brief.",
      mode: "realtime",
      transport: "webrtc",
      brain: "agent-consult",
    },
  },
}

​

Interfejs macOS

• Przełącznik na pasku menu: Talk
• Karta konfiguracji: grupa Talk Mode (identyfikator głosu i przełącznik przerywania)
• Nakładka: kula wyświetla uniwersalny przebieg fali rozmowy (współdzielony z systemami iOS, watchOS i Android). W trybie słuchania reaguje na bieżący poziom mikrofonu, w trybie mówienia odzwierciedla rzeczywistą obwiednię odtwarzania TTS, a w trybie myślenia delikatnie pulsuje. Kliknij kulę, aby wstrzymać lub wznowić, kliknij ją dwukrotnie, aby zatrzymać mówienie, albo kliknij X, aby wyjść z trybu Talk.

​

Interfejs Androida

• Przełącznik na karcie głosu: Talk
• Ręczne tryby Mic i Talk wzajemnie się wykluczają.
• Ręczny tryb Mic i Talk w czasie rzeczywistym preferują mikrofon podłączonego zestawu słuchawkowego Bluetooth Classic lub BLE; jeśli połączenie zostanie przerwane, aplikacja zażąda innego wejścia zestawu słuchawkowego albo użyje domyślnego mikrofonu, a po zakończeniu przechwytywania przywróci domyślne ustawienie.
• Ręczny tryb Mic zatrzymuje się, gdy aplikacja przestaje działać na pierwszym planie lub użytkownik opuszcza kartę głosu.
• Tryb Talk działa do chwili jego wyłączenia lub rozłączenia Node i podczas aktywności korzysta z androidowego typu usługi pierwszoplanowej dla mikrofonu.
• Android obsługuje formaty wyjściowe pcm_16000, pcm_22050, pcm_24000 i pcm_44100 na potrzeby strumieniowania AudioTrack o małym opóźnieniu.

​

Uwagi

• Wymaga uprawnień do rozpoznawania mowy i mikrofonu.
• Natywny tryb Talk korzysta z aktywnej sesji Gateway i przechodzi na odpytywanie historii tylko wtedy, gdy zdarzenia odpowiedzi są niedostępne.
• Gateway realizuje odtwarzanie Talk za pośrednictwem talk.speak, używając aktywnego dostawcy Talk. Android przechodzi na lokalny systemowy TTS tylko wtedy, gdy to wywołanie RPC jest niedostępne.
• Lokalne odtwarzanie MLX w systemie macOS korzysta z dołączonego narzędzia pomocniczego openclaw-mlx-tts, jeśli jest dostępne, albo z pliku wykonywalnego znajdującego się w PATH. Podczas programowania ustaw OPENCLAW_MLX_TTS_BIN, aby wskazywała niestandardowy plik wykonywalny narzędzia pomocniczego.
• Zakresy wartości dyrektyw głosowych (ElevenLabs): stability, similarity i style przyjmują 0..1; speed przyjmuje 0.5..2; latency_tier przyjmuje 0..4.

​

Powiązane

• Aktywacja głosowa
• Dźwięk i notatki głosowe
• Rozumienie multimediów