वॉइस कॉल Plugin

​

त्वरित शुरुआत

openclaw plugins install @openclaw/voice-call

PLUGIN_SRC=./path/to/local/voice-call-plugin
openclaw plugins install "$PLUGIN_SRC"
cd "$PLUGIN_SRC" && pnpm install

openclaw voicecall setup
openclaw voicecall setup --json

openclaw voicecall smoke
openclaw voicecall smoke --to "+15555550123"

openclaw voicecall smoke --to "+15555550123" --yes

​

कॉन्फ़िगरेशन

{
  plugins: {
    entries: {
      "voice-call": {
        enabled: true,
        config: {
          provider: "twilio", // या "telnyx" | "plivo" | "mock"
          fromNumber: "+15550001234", // या Twilio के लिए TWILIO_FROM_NUMBER
          toNumber: "+15550005678",
          sessionScope: "per-phone", // per-phone | per-call
          numbers: {
            "+15550009999": {
              inboundGreeting: "Silver Fox Cards, मैं आपकी कैसे सहायता कर सकता हूँ?",
              responseSystemPrompt: "आप एक संक्षिप्त बेसबॉल कार्ड विशेषज्ञ हैं।",
              tts: {
                providers: {
                  openai: { speakerVoice: "alloy" },
                },
              },
            },
          },

          twilio: {
            accountSid: "ACxxxxxxxx",
            authToken: "...",
            // region: "ie1", // वैकल्पिक: us1 | ie1 | au1; डिफ़ॉल्ट us1 है
          },
          telnyx: {
            apiKey: "...",
            connectionId: "...",
            // Mission Control Portal से Telnyx Webhook सार्वजनिक कुंजी
            // (Base64; TELNYX_PUBLIC_KEY के माध्यम से भी सेट की जा सकती है)।
            publicKey: "...",
          },
          plivo: {
            authId: "MAxxxxxxxxxxxxxxxxxxxx",
            authToken: "...",
          },

          // Webhook सर्वर
          serve: {
            port: 3334,
            path: "/voice/webhook",
          },

          // Webhook सुरक्षा (टनल/प्रॉक्सी के लिए अनुशंसित)
          webhookSecurity: {
            allowedHosts: ["voice.example.com"],
            trustedProxyIPs: ["100.64.0.1"],
          },

          // सार्वजनिक एक्सपोज़र (कोई एक चुनें)
          // publicUrl: "https://example.ngrok.app/voice/webhook",
          // tunnel: { provider: "ngrok" },
          // tailscale: { mode: "funnel", path: "/voice/webhook" },

          outbound: {
            defaultMode: "notify", // notify | conversation
          },

          streaming: { enabled: true /* केवल Twilio; स्ट्रीमिंग ट्रांसक्रिप्शन देखें */ },
          realtime: { enabled: false /* रीयलटाइम वॉइस वार्तालाप देखें */ },
        },
      },
    },
  },
}

​

कॉन्फ़िगरेशन संदर्भ

​

सत्र का दायरा

​

रीयलटाइम वॉइस वार्तालाप

• realtime.enabled Twilio और Telnyx के लिए समर्थित है।
• realtime.provider वैकल्पिक है। यदि इसे सेट नहीं किया गया है, तो Voice Call पहले पंजीकृत रीयलटाइम वॉइस प्रदाता का उपयोग करता है।
• बंडल किए गए रीयलटाइम वॉइस प्रदाता: Google Gemini Live (google) और OpenAI (openai), जिन्हें उनके प्रदाता plugins द्वारा पंजीकृत किया जाता है।
• प्रदाता के स्वामित्व वाला रॉ कॉन्फ़िगरेशन realtime.providers.<providerId> के अंतर्गत रहता है।
• Voice Call डिफ़ॉल्ट रूप से साझा openclaw_agent_consult रीयलटाइम टूल उपलब्ध कराता है। जब कॉलर अधिक गहन तर्क, वर्तमान जानकारी या सामान्य OpenClaw टूल माँगता है, तो रीयलटाइम मॉडल इसे कॉल कर सकता है।
• realtime.consultPolicy वैकल्पिक रूप से यह मार्गदर्शन जोड़ता है कि रीयलटाइम मॉडल को openclaw_agent_consult कब कॉल करना चाहिए।
• realtime.agentContext.enabled डिफ़ॉल्ट रूप से बंद है। सक्षम होने पर, Voice Call सत्र सेटअप के दौरान रीयलटाइम प्रदाता निर्देशों में सीमित एजेंट पहचान और चुनी हुई वर्कस्पेस-फ़ाइल कैप्सूल सम्मिलित करता है।
• realtime.fastContext.enabled डिफ़ॉल्ट रूप से बंद है। सक्षम होने पर, Voice Call पहले परामर्श प्रश्न के लिए इंडेक्स की गई मेमोरी/सत्र संदर्भ में खोज करता है और केवल तभी पूर्ण परामर्श एजेंट पर लौटने से पहले, जब realtime.fastContext.fallbackToConsult true हो, उन अंशों को realtime.fastContext.timeoutMs के भीतर रीयलटाइम मॉडल को लौटाता है।
• यदि realtime.provider किसी अपंजीकृत प्रदाता की ओर संकेत करता है, या कोई भी रीयलटाइम वॉइस प्रदाता पंजीकृत नहीं है, तो Voice Call चेतावनी लॉग करता है और पूरे plugin को विफल करने के बजाय रीयलटाइम मीडिया छोड़ देता है।
• जब realtime.enabled true हो, तब inboundPolicy, "disabled" नहीं होना चाहिए; validateProviderConfig उस संयोजन को अस्वीकार करता है।
• उपलब्ध होने पर परामर्श सत्र कुंजियाँ संग्रहीत कॉल सत्र का पुनः उपयोग करती हैं, फिर कॉन्फ़िगर किए गए sessionScope पर लौटती हैं (डिफ़ॉल्ट रूप से per-phone, या पृथक कॉल के लिए per-call)।

​

टूल नीति

​

एजेंट वॉइस संदर्भ

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          agentId: "main",
          realtime: {
            enabled: true,
            provider: "google",
            toolPolicy: "safe-read-only",
            consultPolicy: "substantive",
            agentContext: {
              enabled: true,
              maxChars: 6000,
              includeIdentity: true,
              includeWorkspaceFiles: true,
              files: ["SOUL.md", "IDENTITY.md", "USER.md"],
            },
          },
        },
      },
    },
  },
}

​

रीयलटाइम प्रदाता के उदाहरण

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          provider: "twilio",
          inboundPolicy: "allowlist",
          allowFrom: ["+15550005678"],
          realtime: {
            enabled: true,
            provider: "google",
            instructions: "संक्षेप में बोलें। अधिक गहन टूल का उपयोग करने से पहले openclaw_agent_consult को कॉल करें।",
            toolPolicy: "safe-read-only",
            consultPolicy: "substantive",
            consultThinkingLevel: "low",
            consultFastMode: true,
            agentContext: { enabled: true },
            providers: {
              google: {
                apiKey: "${GEMINI_API_KEY}",
                model: "gemini-3.1-flash-live-preview",
                speakerVoice: "Kore",
                silenceDurationMs: 500,
                startSensitivity: "high",
              },
            },
          },
        },
      },
    },
  },
}

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          realtime: {
            enabled: true,
            provider: "openai",
            providers: {
              openai: { apiKey: "${OPENAI_API_KEY}" },
            },
          },
        },
      },
    },
  },
}

​

स्ट्रीमिंग ट्रांसक्रिप्शन

• streaming.provider वैकल्पिक है। यदि इसे सेट नहीं किया गया है, तो Voice Call पहले पंजीकृत रीयलटाइम ट्रांसक्रिप्शन प्रदाता का उपयोग करता है।
• बंडल किए गए रीयलटाइम ट्रांसक्रिप्शन प्रदाता: Deepgram (deepgram), ElevenLabs (elevenlabs), Mistral (mistral), OpenAI (openai), और xAI (xai), जिन्हें उनके प्रदाता plugins द्वारा पंजीकृत किया जाता है।
• प्रदाता के स्वामित्व वाला रॉ कॉन्फ़िगरेशन streaming.providers.<providerId> के अंतर्गत रहता है।
• Twilio द्वारा स्वीकृत स्ट्रीम start संदेश भेजने के बाद, Voice Call तुरंत स्ट्रीम पंजीकृत करता है, प्रदाता के कनेक्ट होते समय इनबाउंड मीडिया को ट्रांसक्रिप्शन प्रदाता के माध्यम से कतारबद्ध करता है, और शुरुआती अभिवादन केवल रीयलटाइम ट्रांसक्रिप्शन तैयार होने के बाद शुरू करता है।
• यदि streaming.provider किसी अपंजीकृत प्रदाता की ओर संकेत करता है, या कोई भी प्रदाता पंजीकृत नहीं है, तो Voice Call चेतावनी लॉग करता है और पूरे plugin को विफल करने के बजाय मीडिया स्ट्रीमिंग छोड़ देता है।

​

स्ट्रीमिंग प्रदाता के उदाहरण

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          streaming: {
            enabled: true,
            provider: "openai",
            streamPath: "/voice/stream",
            providers: {
              openai: {
                apiKey: "sk-...", // यदि OPENAI_API_KEY सेट है तो वैकल्पिक
                model: "gpt-4o-transcribe",
                silenceDurationMs: 800,
                vadThreshold: 0.5,
              },
            },
          },
        },
      },
    },
  },
}

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          streaming: {
            enabled: true,
            provider: "xai",
            streamPath: "/voice/stream",
            providers: {
              xai: {
                apiKey: "${XAI_API_KEY}", // यदि XAI_API_KEY सेट है तो वैकल्पिक
                endpointingMs: 800,
                language: "en",
              },
            },
          },
        },
      },
    },
  },
}

​

कॉल के लिए TTS

{
  tts: {
    provider: "elevenlabs",
    providers: {
      elevenlabs: {
        speakerVoiceId: "pMsXgVXv3BLzUgSXRplE",
        modelId: "eleven_multilingual_v2",
      },
    },
  },
}

• plugin कॉन्फ़िगरेशन के भीतर पुरानी tts.<provider> कुंजियों (openai, elevenlabs, microsoft, edge) की मरम्मत openclaw doctor --fix द्वारा की जाती है; कमिट किए गए कॉन्फ़िगरेशन में tts.providers.<provider> का उपयोग होना चाहिए।
• Twilio मीडिया स्ट्रीमिंग सक्षम होने पर मुख्य TTS का उपयोग किया जाता है; अन्यथा कॉल प्रदाता-मूल वॉइस पर लौटती हैं।
• यदि Twilio मीडिया स्ट्रीम पहले से सक्रिय है, तो Voice Call TwiML <Say> पर वापस नहीं लौटता। यदि उस स्थिति में टेलीफ़ोनी TTS उपलब्ध नहीं है, तो दो प्लेबैक पथों को मिलाने के बजाय प्लेबैक अनुरोध विफल हो जाता है।
• जब टेलीफ़ोनी TTS किसी द्वितीयक प्रदाता पर लौटता है, तो Voice Call डीबगिंग के लिए प्रदाता श्रृंखला (from, to, attempts) के साथ चेतावनी लॉग करता है।
• जब Twilio बार्ज-इन या स्ट्रीम टियरडाउन लंबित TTS कतार साफ़ करता है, तो कतारबद्ध प्लेबैक अनुरोध पूरे हो जाते हैं, बजाय इसके कि प्लेबैक पूर्ण होने की प्रतीक्षा कर रहे कॉलर अटके रहें।

​

TTS के उदाहरण

{
  tts: {
    provider: "openai",
    providers: {
      openai: { speakerVoice: "alloy" },
    },
  },
}

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          tts: {
            provider: "elevenlabs",
            providers: {
              elevenlabs: {
                apiKey: "elevenlabs_key",
                speakerVoiceId: "pMsXgVXv3BLzUgSXRplE",
                modelId: "eleven_multilingual_v2",
              },
            },
          },
        },
      },
    },
  },
}

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          tts: {
            providers: {
              openai: {
                model: "gpt-4o-mini-tts",
                speakerVoice: "marin",
              },
            },
          },
        },
      },
    },
  },
}

​

इनबाउंड कॉल

{
  inboundPolicy: "allowlist",
  allowFrom: ["+15550001234"],
  inboundGreeting: "नमस्ते! मैं आपकी कैसे सहायता कर सकता हूँ?",
}

​

प्रति-नंबर रूटिंग

• inboundGreeting
• tts
• agentId
• responseModel
• responseSystemPrompt
• responseTimeoutMs

{
  inboundGreeting: "मुख्य लाइन से नमस्ते।",
  responseSystemPrompt: "आप डिफ़ॉल्ट वॉइस सहायक हैं।",
  tts: {
    provider: "openai",
    providers: {
      openai: { speakerVoice: "coral" },
    },
  },
  numbers: {
    "+15550001111": {
      inboundGreeting: "सिल्वर फ़ॉक्स कार्ड्स, मैं आपकी कैसे सहायता कर सकता हूँ?",
      responseSystemPrompt: "आप संक्षिप्त उत्तर देने वाले बेसबॉल कार्ड विशेषज्ञ हैं।",
      tts: {
        providers: {
          openai: { speakerVoice: "alloy" },
        },
      },
    },
  },
}

​

बोले गए आउटपुट का अनुबंध

• तर्क/त्रुटि सामग्री के रूप में चिह्नित पेलोड को अनदेखा करता है।
• प्रत्यक्ष JSON, फ़ेंस्ड JSON, या इनलाइन "spoken" कुंजियों को पार्स करता है।
• प्लेन टेक्स्ट पर वापस जाता है और संभावित योजना/मेटा भूमिका वाले शुरुआती अनुच्छेद हटा देता है।

​

बातचीत शुरू होने का व्यवहार

• बार्ज-इन कतार साफ़ करना और स्वचालित प्रतिक्रिया केवल तभी रोकी जाती है, जब प्रारंभिक अभिवादन सक्रिय रूप से बोला जा रहा हो।
• यदि प्रारंभिक प्लेबैक विफल होता है, तो कॉल listening पर लौटती है और प्रारंभिक संदेश पुनः प्रयास के लिए कतार में बना रहता है।
• Twilio स्ट्रीमिंग का प्रारंभिक प्लेबैक स्ट्रीम कनेक्ट होने पर बिना अतिरिक्त विलंब के शुरू होता है।
• बार्ज-इन सक्रिय प्लेबैक को रोक देता है और कतार में मौजूद लेकिन अभी तक न चलने वाली Twilio TTS प्रविष्टियों को साफ़ कर देता है। साफ़ की गई प्रविष्टियाँ छोड़ी गई के रूप में हल होती हैं, ताकि आगे की प्रतिक्रिया का तर्क ऐसे ऑडियो की प्रतीक्षा किए बिना जारी रह सके जो कभी नहीं चलेगा।
• रीयलटाइम वॉइस बातचीत रीयलटाइम स्ट्रीम की अपनी शुरुआती बारी का उपयोग करती है। Voice Call उस प्रारंभिक संदेश के लिए पुराना <Say> TwiML अपडेट पोस्ट नहीं करता, इसलिए आउटबाउंड <Connect><Stream> सत्र जुड़े रहते हैं।

​

Twilio स्ट्रीम डिस्कनेक्ट अनुग्रह अवधि

• यदि उस अवधि में स्ट्रीम पुनः कनेक्ट हो जाती है, तो स्वतः समाप्ति रद्द कर दी जाती है।
• यदि अनुग्रह अवधि के बाद कोई स्ट्रीम पुनः पंजीकृत नहीं होती, तो सक्रिय अवस्था में अटकी कॉल को रोकने के लिए कॉल समाप्त कर दी जाती है।

​

पुरानी कॉल रीपर

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          maxDurationSeconds: 300,
          staleCallReaperSeconds: 120,
        },
      },
    },
  },
}

​

Webhook सुरक्षा

• Twilio, Telnyx, और Plivo के लिए Webhook रीप्ले सुरक्षा सक्षम है। दोबारा चलाए गए वैध Webhook अनुरोध स्वीकार किए जाते हैं, लेकिन उनके दुष्प्रभाव छोड़ दिए जाते हैं।
• Twilio बातचीत की प्रत्येक बारी में <Gather> कॉलबैक में प्रति-बारी टोकन शामिल होता है, इसलिए पुराने/दोबारा चलाए गए वाक् कॉलबैक नई लंबित ट्रांसक्रिप्ट बारी को पूरा नहीं कर सकते।
• प्रदाता के आवश्यक हस्ताक्षर हेडर अनुपस्थित होने पर, अप्रमाणित Webhook अनुरोधों को बॉडी पढ़े जाने से पहले अस्वीकार कर दिया जाता है।
• voice-call Webhook हस्ताक्षर सत्यापन से पहले साझा पूर्व-प्रमाणीकरण बॉडी-रीड प्रोफ़ाइल (अधिकतम 64 KB बॉडी, 5-सेकंड रीड टाइमआउट) के साथ प्रति-कुंजी इन-फ़्लाइट सीमा (डिफ़ॉल्ट रूप से प्रति कुंजी 8 समवर्ती अनुरोध) का उपयोग करता है।

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          publicUrl: "https://voice.example.com/voice/webhook",
          webhookSecurity: {
            allowedHosts: ["voice.example.com"],
          },
        },
      },
    },
  },
}

​

CLI

openclaw voicecall call --to "+15555550123" --message "OpenClaw की ओर से नमस्ते"
openclaw voicecall start --to "+15555550123"   # call का उपनाम
openclaw voicecall continue --call-id <id> --message "कोई प्रश्न?"
openclaw voicecall speak --call-id <id> --message "एक क्षण"
openclaw voicecall dtmf --call-id <id> --digits "ww123456#"
openclaw voicecall end --call-id <id>
openclaw voicecall status --call-id <id>
openclaw voicecall tail
openclaw voicecall latency                      # लॉग से बारी की विलंबता का सारांश
openclaw voicecall expose --mode funnel

​

एजेंट टूल

​

Gateway RPC

​

समस्या निवारण

​

सेटअप में Webhook एक्सपोज़र विफल होता है

openclaw voicecall setup
openclaw voicecall setup --json

{
  plugins: {
    entries: {
      "voice-call": {
        config: {
          publicUrl: "https://voice.example.com/voice/webhook",
          // या
          tunnel: { provider: "ngrok" },
          // या
          tailscale: { mode: "funnel", path: "/voice/webhook" },
        },
      },
    },
  },
}

openclaw voicecall setup
openclaw voicecall smoke

​

प्रदाता क्रेडेंशियल विफल होते हैं

• Twilio: twilio.accountSid, twilio.authToken, और fromNumber, या TWILIO_ACCOUNT_SID, TWILIO_AUTH_TOKEN, और TWILIO_FROM_NUMBER।
• Telnyx: telnyx.apiKey, telnyx.connectionId, telnyx.publicKey, और fromNumber, या TELNYX_API_KEY, TELNYX_CONNECTION_ID, और TELNYX_PUBLIC_KEY।
• Plivo: plivo.authId, plivo.authToken, और fromNumber, या PLIVO_AUTH_ID और PLIVO_AUTH_TOKEN।

​

कॉल शुरू होते हैं, लेकिन प्रदाता Webhook नहीं पहुँचते

https://voice.example.com/voice/webhook

openclaw voicecall status --call-id <id>
openclaw voicecall tail
openclaw logs --follow

• publicUrl, serve.path से अलग पाथ की ओर इंगित करता है।
• Gateway शुरू होने के बाद टनल URL बदल गया।
• प्रॉक्सी अनुरोध फ़ॉरवर्ड करता है, लेकिन होस्ट/प्रोटो हेडर हटा देता है या फिर से लिखता है।
• फ़ायरवॉल या DNS सार्वजनिक होस्टनाम को Gateway के बजाय किसी अन्य स्थान पर रूट करता है।
• Voice Call Plugin सक्षम किए बिना Gateway को पुनः आरंभ किया गया।

​

हस्ताक्षर सत्यापन विफल होता है

• पुष्टि करें कि प्रदाता Webhook URL, स्कीम, होस्ट और पाथ सहित, publicUrl से पूरी तरह मेल खाता है।
• ngrok फ़्री-टियर URL के लिए, टनल होस्टनाम बदलने पर publicUrl अपडेट करें।
• सुनिश्चित करें कि प्रॉक्सी मूल होस्ट और प्रोटो हेडर सुरक्षित रखता है, या webhookSecurity.allowedHosts कॉन्फ़िगर करें।
• लोकल परीक्षण के बाहर skipSignatureVerification सक्षम न करें।

​

Google Meet Twilio जॉइन विफल होते हैं

openclaw voicecall setup
openclaw voicecall smoke --to "+15555550123"

openclaw googlemeet setup --transport twilio

• Google Meet, Twilio जॉइन को Voice Call को सौंपता है।
• Voice Call प्री-कनेक्ट DTMF TwiML संग्रहीत करता है।
• Twilio आरंभिक TwiML का उपयोग किया जाता है और रीयलटाइम प्रबंधन से पहले सर्व किया जाता है।
• Voice Call, Twilio कॉल के लिए रीयलटाइम TwiML सर्व करता है।
• Google Meet, पोस्ट-DTMF विलंब के बाद voicecall.speak के साथ आरंभिक वाणी का अनुरोध करता है।

​

रीयलटाइम कॉल में वाणी नहीं है

• एक रीयलटाइम प्रदाता Plugin लोड और पंजीकृत है।
• realtime.provider अनसेट है या किसी पंजीकृत प्रदाता का नाम देता है।
• प्रदाता API कुंजी Gateway प्रक्रिया के लिए उपलब्ध है।
• openclaw logs --follow दिखाता है कि रीयलटाइम TwiML सर्व किया गया, रीयलटाइम ब्रिज शुरू हुआ और आरंभिक अभिवादन कतारबद्ध किया गया।

​

संबंधित

• बातचीत मोड
• टेक्स्ट-टू-स्पीच
• वॉइस वेक