Deepgram

Deepgram — это API преобразования речи в текст. OpenClaw использует его для транскрибирования входящих аудиосообщений и голосовых заметок через tools.media.audio, а также для потокового преобразования речи в текст при голосовых вызовах через plugins.entries.voice-call.config.streaming. При пакетном транскрибировании полный аудиофайл загружается в Deepgram, а транскрипция добавляется в конвейер ответов (блок {{Transcript}} + [Audio]). При потоковом преобразовании речи в текст для голосовых вызовов кадры G.711 u-law в реальном времени передаются через конечную точку WebSocket listen Deepgram, а по мере получения от Deepgram создаются промежуточные и окончательные транскрипции.

Сведения	Значение
Веб-сайт	deepgram.com
Документация	developers.deepgram.com
Аутентификация	`DEEPGRAM_API_KEY`
Модель по умолчанию	`nova-3`

Начало работы

Задайте ключ API

DEEPGRAM_API_KEY=dg_...

Включите провайдер аудио

{
  tools: {
    media: {
      audio: {
        enabled: true,
        models: [{ provider: "deepgram", model: "nova-3" }],
      },
    },
  },
}

Отправьте голосовую заметку

Отправьте аудиосообщение через любой подключённый канал. OpenClaw транскрибирует его с помощью Deepgram и добавит транскрипцию в конвейер ответов.

Параметры конфигурации

Параметр	Путь	Описание
`model`	`tools.media.audio.models[].model`	Идентификатор модели Deepgram (по умолчанию: `nova-3`)
`language`	`tools.media.audio.models[].language`	Подсказка языка (необязательно)

providerOptions.deepgram добавляет дополнительные параметры запроса непосредственно в запрос Deepgram /listen, поэтому можно использовать любое имя параметра, поддерживаемое Deepgram (например, detect_language, punctuate, smart_format):

С подсказкой языка
С параметрами Deepgram

{
  tools: {
    media: {
      audio: {
        enabled: true,
        models: [{ provider: "deepgram", model: "nova-3", language: "en" }],
      },
    },
  },
}

{
  tools: {
    media: {
      audio: {
        enabled: true,
        providerOptions: {
          deepgram: {
            detect_language: true,
            punctuate: true,
            smart_format: true,
          },
        },
        models: [{ provider: "deepgram", model: "nova-3" }],
      },
    },
  },
}

Потоковое преобразование речи в текст для голосовых вызовов

Встроенный плагин deepgram также регистрирует провайдер транскрибирования в реальном времени для плагина голосовых вызовов.

Настройка	Путь конфигурации	Значение по умолчанию
Ключ API	`plugins.entries.voice-call.config.streaming.providers.deepgram.apiKey`	Если не задан, используется `DEEPGRAM_API_KEY`
Базовый URL	`...deepgram.baseUrl`	`DEEPGRAM_BASE_URL` или общедоступный API Deepgram
Модель	`...deepgram.model`	`nova-3`
Язык	`...deepgram.language`	(не задан)
Кодировка	`...deepgram.encoding`	`mulaw`
Частота дискретизации	`...deepgram.sampleRate`	`8000`
Определение конца реплики	`...deepgram.endpointingMs`	`800`
Промежуточные результаты	`...deepgram.interimResults`	`true`

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          streaming: {
            enabled: true,
            provider: "deepgram",
            providers: {
              deepgram: {
                apiKey: "${DEEPGRAM_API_KEY}",
                model: "nova-3",
                endpointingMs: 800,
                language: "en-US",
              },
            },
          },
        },
      },
    },
  },
}

Чтобы использовать пользовательскую конечную точку Deepgram, задайте для baseUrl корневой адрес конечной точки, включая базовый путь, но без /listen. Конечные точки реального времени принимают http://, https://, ws:// и wss://. HTTP преобразуется в WS, HTTPS — в WSS, а явно указанные схемы WebSocket остаются без изменений. Некорректные URL-адреса и другие схемы приводят к ошибке при настройке сеанса.

Voice Call получает телефонный звук в формате G.711 u-law с частотой 8 кГц. Провайдер потоковой передачи Deepgram по умолчанию использует encoding: "mulaw" и sampleRate: 8000, поэтому медиакадры Twilio можно передавать напрямую.

Примечания

Аутентификация

Аутентификация выполняется в стандартном для провайдеров порядке. DEEPGRAM_API_KEY — самый простой вариант.

Прокси и пользовательские конечные точки

При использовании прокси переопределите конечные точки или заголовки с помощью tools.media.audio.baseUrl и tools.media.audio.headers.

Формирование результата

Результат подчиняется тем же правилам обработки аудио, что и у других провайдеров (ограничения размера, тайм-ауты, добавление транскрипции).

См. также

Инструменты обработки медиа

Обзор конвейера обработки аудио, изображений и видео.

Конфигурация

Полный справочник по конфигурации, включая настройки инструментов обработки медиа.

Устранение неполадок

Распространённые проблемы и действия по отладке.

Часто задаваемые вопросы

Часто задаваемые вопросы о настройке OpenClaw.

Overview

Concepts and configuration

Providers

Начало работы

Параметры конфигурации

Потоковое преобразование речи в текст для голосовых вызовов

Примечания

См. также

Инструменты обработки медиа

Конфигурация

Устранение неполадок

Часто задаваемые вопросы

​Начало работы

​Параметры конфигурации

​Потоковое преобразование речи в текст для голосовых вызовов

​Примечания

​См. также

Инструменты обработки медиа

Конфигурация

Устранение неполадок

Часто задаваемые вопросы

Начало работы

Параметры конфигурации

Потоковое преобразование речи в текст для голосовых вызовов

Примечания

См. также