Deepgram

Deepgram è un’API di conversione da voce a testo. OpenClaw la utilizza per la trascrizione dell’audio in ingresso e delle note vocali tramite tools.media.audio e per lo STT in streaming delle chiamate vocali tramite plugins.entries.voice-call.config.streaming. La trascrizione in batch carica il file audio completo su Deepgram e inserisce la trascrizione nella pipeline di risposta (blocco {{Transcript}} + [Audio]). Lo streaming delle chiamate vocali inoltra in tempo reale i frame G.711 u-law tramite l’endpoint WebSocket listen di Deepgram ed emette trascrizioni parziali e finali man mano che Deepgram le restituisce.

Dettaglio	Valore
Sito web	deepgram.com
Documentazione	developers.deepgram.com
Autenticazione	`DEEPGRAM_API_KEY`
Modello predefinito	`nova-3`

Guida introduttiva

Impostare la chiave API

DEEPGRAM_API_KEY=dg_...

Abilitare il provider audio

{
  tools: {
    media: {
      audio: {
        enabled: true,
        models: [{ provider: "deepgram", model: "nova-3" }],
      },
    },
  },
}

Inviare una nota vocale

Inviare un messaggio audio tramite qualsiasi canale connesso. OpenClaw lo trascrive tramite Deepgram e inserisce la trascrizione nella pipeline di risposta.

Opzioni di configurazione

Opzione	Percorso	Descrizione
`model`	`tools.media.audio.models[].model`	ID del modello Deepgram (predefinito: `nova-3`)
`language`	`tools.media.audio.models[].language`	Indicazione della lingua (facoltativa)

providerOptions.deepgram unisce i parametri di query aggiuntivi direttamente nella richiesta /listen di Deepgram, pertanto è possibile usare qualsiasi nome di parametro supportato da Deepgram (ad esempio detect_language, punctuate, smart_format):

Con indicazione della lingua
Con opzioni Deepgram

{
  tools: {
    media: {
      audio: {
        enabled: true,
        models: [{ provider: "deepgram", model: "nova-3", language: "en" }],
      },
    },
  },
}

{
  tools: {
    media: {
      audio: {
        enabled: true,
        providerOptions: {
          deepgram: {
            detect_language: true,
            punctuate: true,
            smart_format: true,
          },
        },
        models: [{ provider: "deepgram", model: "nova-3" }],
      },
    },
  },
}

STT in streaming delle chiamate vocali

Il plugin deepgram incluso registra anche un provider di trascrizione in tempo reale per il plugin delle chiamate vocali.

Impostazione	Percorso di configurazione	Valore predefinito
Chiave API	`plugins.entries.voice-call.config.streaming.providers.deepgram.apiKey`	Ripiega su `DEEPGRAM_API_KEY`
URL di base	`...deepgram.baseUrl`	`DEEPGRAM_BASE_URL` o l’API pubblica di Deepgram
Modello	`...deepgram.model`	`nova-3`
Lingua	`...deepgram.language`	(non impostata)
Codifica	`...deepgram.encoding`	`mulaw`
Frequenza di campionamento	`...deepgram.sampleRate`	`8000`
Rilevamento del termine	`...deepgram.endpointingMs`	`800`
Risultati intermedi	`...deepgram.interimResults`	`true`

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          streaming: {
            enabled: true,
            provider: "deepgram",
            providers: {
              deepgram: {
                apiKey: "${DEEPGRAM_API_KEY}",
                model: "nova-3",
                endpointingMs: 800,
                language: "en-US",
              },
            },
          },
        },
      },
    },
  },
}

Per un endpoint personalizzato di Deepgram, impostare baseUrl sulla radice dell’endpoint, includendo qualsiasi percorso di base ma non /listen. Gli endpoint in tempo reale accettano http://, https://, ws:// e wss://. HTTP viene convertito in WS, HTTPS in WSS, mentre gli schemi WebSocket espliciti rimangono invariati. Gli URL non validi e gli altri schemi causano un errore durante la configurazione della sessione.

Le chiamate vocali ricevono audio telefonico G.711 u-law a 8 kHz. Il provider di streaming Deepgram utilizza per impostazione predefinita encoding: "mulaw" e sampleRate: 8000, pertanto i frame multimediali di Twilio possono essere inoltrati direttamente.

Note

Autenticazione

L’autenticazione segue l’ordine standard di autenticazione dei provider. DEEPGRAM_API_KEY è il percorso più semplice.

Proxy ed endpoint personalizzati

Quando si utilizza un proxy, sostituire gli endpoint o le intestazioni con tools.media.audio.baseUrl e tools.media.audio.headers.

Comportamento dell'output

L’output segue le stesse regole audio degli altri provider (limiti di dimensione, timeout, inserimento della trascrizione).

Contenuti correlati

Strumenti multimediali

Panoramica della pipeline di elaborazione di audio, immagini e video.

Configurazione

Riferimento completo della configurazione, incluse le impostazioni degli strumenti multimediali.

Risoluzione dei problemi

Problemi comuni e procedure di debug.

Domande frequenti

Domande frequenti sulla configurazione di OpenClaw.

Overview

Concepts and configuration

Providers

Guida introduttiva

Opzioni di configurazione

STT in streaming delle chiamate vocali

Note

Contenuti correlati

Strumenti multimediali

Configurazione

Risoluzione dei problemi

Domande frequenti

​Guida introduttiva

​Opzioni di configurazione

​STT in streaming delle chiamate vocali

​Note

​Contenuti correlati

Strumenti multimediali

Configurazione

Risoluzione dei problemi

Domande frequenti

Guida introduttiva

Opzioni di configurazione

STT in streaming delle chiamate vocali

Note

Contenuti correlati