Режим розмови

• Нативний режим розмови в macOS/iOS/Android: локальне розпізнавання мовлення, чат через Gateway і синтез мовлення talk.speak. Вузли оголошують можливість talk і вказують, які команди talk.* вони підтримують.
• Режим розмови в iOS (у реальному часі): WebRTC під керуванням клієнта для конфігурацій OpenAI реального часу, у яких вибрано транспорт webrtc або транспорт не вказано. Явні конфігурації реального часу gateway-relay, provider-websocket і конфігурації не від OpenAI залишаються на ретрансляторі під керуванням Gateway; конфігурації не в реальному часі використовують нативний мовленнєвий цикл.
• Режим розмови в браузері: talk.client.create для сеансів webrtc/provider-websocket під керуванням клієнта або talk.session.create для сеансів gateway-relay під керуванням Gateway. managed-room зарезервовано для передавання керування Gateway і кімнат у режимі рації.
• Режим розмови в Android (у реальному часі): увімкніть його за допомогою talk.realtime.mode: "realtime" і talk.realtime.transport: "gateway-relay". Інакше Android продовжує використовувати нативне розпізнавання мовлення, чат через Gateway і talk.speak.
• Клієнти лише для транскрибування: talk.session.create({ mode: "transcription", transport: "gateway-relay", brain: "none" }), а потім talk.session.appendAudio, talk.session.cancelTurn і talk.session.close для субтитрів/диктування без голосової відповіді асистента. Одноразово завантажені голосові нотатки й надалі використовують аудіошлях розуміння медіа.

​

Поведінка (macOS)

• Накладка завжди відображається, доки режим розмови ввімкнено.
• Переходи між фазами Слухання → Обдумування → Мовлення.
• Після короткої паузи (інтервалу тиші) поточна транскрипція надсилається.
• Відповіді записуються у WebChat (так само, як під час введення тексту).
• Переривання мовленням (увімкнено за замовчуванням): якщо користувач говорить, поки асистент озвучує відповідь, відтворення припиняється, а часова позначка переривання враховується в наступному запиті.

​

Голосові директиви у відповідях

{ "voice": "<voice-id>", "once": true }

• Лише перший непорожній рядок; рядок JSON вилучається перед відтворенням TTS.
• Невідомі ключі ігноруються.
• once: true застосовується лише до поточної відповіді; без нього голос стає новим типовим голосом режиму розмови.

​

Конфігурація (~/.openclaw/openclaw.json)

{
  talk: {
    provider: "elevenlabs",
    providers: {
      elevenlabs: {
        voiceId: "elevenlabs_voice_id",
        modelId: "eleven_v3",
        outputFormat: "mp3_44100_128",
        apiKey: "elevenlabs_api_key",
      },
      mlx: {
        modelId: "mlx-community/Soprano-80M-bf16",
      },
      system: {},
    },
    speechLocale: "ru-RU",
    silenceTimeoutMs: 1500,
    interruptOnSpeech: true,
    realtime: {
      provider: "openai",
      providers: {
        openai: {
          apiKey: "openai_api_key",
          model: "gpt-realtime-2.1",
          speakerVoice: "cedar",
        },
      },
      instructions: "Говори тепло й відповідай стисло.",
      mode: "realtime",
      transport: "webrtc",
      brain: "agent-consult",
    },
  },
}

​

Інтерфейс macOS

• Перемикач у смузі меню: Talk
• Вкладка конфігурації: група Talk Mode (ідентифікатор голосу та перемикач переривання)
• Накладка: сфера відтворює універсальну форму звукової хвилі Talk (спільну з iOS, watchOS і Android). Під час прослуховування вона реагує на поточний рівень мікрофона, під час мовлення — на фактичну огинальну відтворення TTS, а під час обмірковування — м’яко пульсує. Натисніть сферу, щоб призупинити або відновити роботу, двічі натисніть, щоб припинити мовлення, або натисніть X, щоб вийти з режиму Talk.

​

Інтерфейс Android

• Перемикач на вкладці Voice: Talk
• Ручні режими Mic і Talk є взаємовиключними режимами захоплення.
• Ручний режим Mic і Talk у реальному часі надають перевагу мікрофону підключеної гарнітури Bluetooth Classic або BLE; якщо вона відключається, застосунок запитує інший вхід гарнітури або перемикається на стандартний мікрофон, відновлюючи стандартні налаштування після завершення захоплення.
• Ручний режим Mic припиняється, коли застосунок переходить у фоновий режим або користувач залишає вкладку Voice.
• Режим Talk продовжує працювати, доки його не вимкнуть перемикачем або доки Node не відключиться, використовуючи під час роботи тип фонової служби Android для мікрофона.
• Android підтримує вихідні формати pcm_16000, pcm_22050, pcm_24000 і pcm_44100 для потокового передавання через AudioTrack із низькою затримкою.

​

Примітки

• Потрібні дозволи на розпізнавання мовлення та доступ до мікрофона.
• Вбудований Talk використовує активний сеанс Gateway і переходить до опитування історії лише тоді, коли події відповіді недоступні.
• Gateway визначає відтворення Talk через talk.speak, використовуючи активного провайдера Talk. Android переходить до локального системного TTS лише тоді, коли цей RPC недоступний.
• Локальне відтворення MLX у macOS використовує вбудований допоміжний засіб openclaw-mlx-tts, якщо він доступний, або виконуваний файл у PATH. Під час розробки задайте OPENCLAW_MLX_TTS_BIN, щоб указати власний виконуваний файл допоміжного засобу.
• Діапазони значень голосових директив (ElevenLabs): stability, similarity і style приймають 0..1; speed приймає 0.5..2; latency_tier приймає 0..4.

​

Пов’язані матеріали

• Активація голосом
• Аудіо та голосові нотатки
• Розуміння медіа