ऑडियो और वॉइस नोट्स

​

यह क्या करता है

1. पहले ऑडियो अटैचमेंट (स्थानीय पथ या URL) का पता लगाता है और आवश्यकता होने पर उसे डाउनलोड करता है।
2. प्रत्येक मॉडल प्रविष्टि को भेजने से पहले maxBytes लागू करता है।
3. क्रम में पहली योग्य मॉडल प्रविष्टि (प्रदाता या CLI) चलाता है; यदि कोई प्रविष्टि विफल होती है या छोड़ दी जाती है (आकार/समय-सीमा), तो अगली प्रविष्टि आज़माई जाती है।
4. सफलता मिलने पर, Body को [Audio] ब्लॉक से बदलता है और {{Transcript}} सेट करता है।

​

स्वतः पहचान (डिफ़ॉल्ट)

1. सक्रिय उत्तर मॉडल, जब उसका प्रदाता ऑडियो समझ का समर्थन करता है।
2. कॉन्फ़िगर किया गया प्रदाता प्रमाणीकरण — ऑडियो ट्रांसक्रिप्शन का समर्थन करने वाले प्रदाता के लिए उपलब्ध प्रमाणीकरण वाली कोई भी models.providers.* प्रविष्टि। इसकी जाँच स्थानीय CLI से पहले की जाती है, इसलिए कॉन्फ़िगर की गई API कुंजी हमेशा PATH पर स्थानीय बाइनरी से अधिक प्राथमिकता पाती है। एकाधिक प्रदाता कॉन्फ़िगर होने पर उनकी प्राथमिकता: Groq, OpenAI, xAI, Deepgram, Google, SenseAudio, ElevenLabs, Mistral।
3. स्थानीय CLI (केवल तब, जब कोई प्रदाता प्रमाणीकरण हल न हुआ हो)। OpenClaw एक क्रमबद्ध फ़ॉलबैक सूची बनाता है:
   • whisper-cli, CPU डिफ़ॉल्ट से पहले केवल तब, जब मौजूदा प्रक्रिया में पहले हुए मॉडल आह्वान ने Metal या CUDA देखा हो
   • sherpa-onnx-offline अपने डिफ़ॉल्ट CPU प्रदाता पर (tokens.txt, encoder.onnx, decoder.onnx, और joiner.onnx के साथ SHERPA_ONNX_MODEL_DIR आवश्यक है)
   • whisper-cli, जब Metal/CUDA केवल बिल्ड-सक्षम हो या चुना गया बैकएंड अन्यथा देखा न गया हो
   • parakeet-mlx Apple Silicon पर (MLX-सक्षम; डिवाइस का उपयोग अब भी अप्रेक्षित रहता है)
   • whisper (Python CLI; मॉडल स्वचालित रूप से डाउनलोड करता है)

openclaw capability audio providers
openclaw doctor --lint --only core/doctor/local-audio-acceleration --severity-min info

​

कॉन्फ़िगरेशन उदाहरण

​

प्रदाता + CLI फ़ॉलबैक (OpenAI + Whisper CLI)

{
  tools: {
    media: {
      models: [
        { provider: "openai", model: "gpt-4o-transcribe", capabilities: ["audio"] },
        {
          type: "cli",
          command: "whisper",
          args: ["--model", "base", "{{AttachmentPath}}"],
          timeoutSeconds: 45,
          capabilities: ["audio"],
        },
      ],
      audio: { enabled: true, preferredModel: "openai/gpt-4o-transcribe" },
    },
  },
}

​

केवल प्रदाता (Deepgram)

{
  tools: {
    media: {
      models: [{ provider: "deepgram", model: "nova-3", capabilities: ["audio"] }],
      audio: { enabled: true },
    },
  },
}

​

केवल प्रदाता (Mistral Voxtral)

{
  tools: {
    media: {
      models: [{ provider: "mistral", model: "voxtral-mini-latest", capabilities: ["audio"] }],
      audio: { enabled: true },
    },
  },
}

​

केवल प्रदाता (SenseAudio)

{
  tools: {
    media: {
      models: [
        {
          provider: "senseaudio",
          model: "senseaudio-asr-pro-1.5-260319",
          capabilities: ["audio"],
        },
      ],
      audio: { enabled: true },
    },
  },
}

​

ट्रांसक्रिप्ट को चैट में दोहराएँ (सहमति-आधारित)

{
  tools: {
    media: {
      audio: {
        enabled: true,
        echoTranscript: true,
        echoFormat: '📝 "{transcript}"',
      },
    },
  },
}

​

टिप्पणियाँ और सीमाएँ

• प्रदाता प्रमाणीकरण मानक मॉडल प्रमाणीकरण क्रम (प्रमाणीकरण प्रोफ़ाइल, परिवेश चर, models.providers.*.apiKey) का पालन करता है।
• Groq सेटअप विवरण: Groq।
• provider: "deepgram" का उपयोग होने पर Deepgram, DEEPGRAM_API_KEY को प्राप्त करता है। सेटअप विवरण: Deepgram।
• Mistral सेटअप विवरण: Mistral।
• provider: "senseaudio" का उपयोग होने पर SenseAudio, SENSEAUDIO_API_KEY को प्राप्त करता है। सेटअप विवरण: SenseAudio।
• ऑडियो प्रदाता tools.media.audio के अंतर्गत डिफ़ॉल्ट का उपयोग कर सकते हैं या अपनी tools.media.models[] प्रविष्टि पर baseUrl, headers, providerOptions, और सीमाओं को ओवरराइड कर सकते हैं।
• अंतर्निहित ऑडियो आकार सीमा 20MB है। प्रविष्टि-स्तरीय maxBytes ओवरराइड इसे बदल सकता है; उस मॉडल के लिए सीमा से बड़ा ऑडियो छोड़ दिया जाता है और अगली प्रविष्टि आज़माई जाती है।
• 1024 बाइट से छोटी ऑडियो फ़ाइलें प्रदाता/CLI ट्रांसक्रिप्शन से पहले छोड़ दी जाती हैं।
• ऑडियो के लिए डिफ़ॉल्ट maxChars सेट नहीं है (पूर्ण ट्रांसक्रिप्ट)। आउटपुट छोटा करने के लिए tools.media.audio.maxChars या प्रति-प्रविष्टि maxChars सेट करें।
• OpenAI स्वतः पहचान का डिफ़ॉल्ट gpt-4o-transcribe है; सस्ते/तेज़ विकल्प के लिए model: "gpt-4o-mini-transcribe" सेट करें।
• ट्रांसक्रिप्ट टेम्पलेट में {{Transcript}} के रूप में उपलब्ध है।
• tools.media.audio.echoTranscript डिफ़ॉल्ट रूप से बंद है; echoFormat, {transcript} प्लेसहोल्डर स्वीकार करता है।
• CLI stdout की सीमा 5MB है; CLI आउटपुट संक्षिप्त रखें।
• CLI args को स्थानीय ऑडियो फ़ाइल पथ के लिए {{AttachmentPath}} का उपयोग करना चाहिए। पुराने audio.transcription.command कॉन्फ़िगरेशन से अप्रचलित {input} प्लेसहोल्डर माइग्रेट करने के लिए openclaw doctor --fix चलाएँ (सेवानिवृत्त कुंजी: audio.transcription, जिसे tools.media.models ने प्रतिस्थापित किया है)। {{MediaPath}} एक अप्रचलित संगतता उपनाम बना हुआ है।
• tools.media.concurrency मीडिया कार्यों को सीमित करता है; यह GPU शेड्यूलर नहीं है।

​

स्थायी स्थानीय STT

​

प्रॉक्सी परिवेश समर्थन

• HTTPS_PROXY / https_proxy
• HTTP_PROXY / http_proxy
• ALL_PROXY / all_proxy

​

समूहों में उल्लेख पहचान

1. यदि किसी वॉइस संदेश में कोई टेक्स्ट मुख्य सामग्री नहीं है और समूह में उल्लेख आवश्यक हैं, तो OpenClaw पहले ऑडियो अटैचमेंट का प्रीफ़्लाइट ट्रांसक्रिप्शन करता है।
2. उल्लेख पैटर्न (उदाहरण के लिए @BotName, इमोजी ट्रिगर) के लिए ट्रांसक्रिप्ट की जाँच की जाती है।
3. यदि कोई उल्लेख मिलता है, तो संदेश पूर्ण उत्तर पाइपलाइन से आगे बढ़ता है।

• उस समूह के लिए प्रीफ़्लाइट ट्रांसक्रिप्ट उल्लेख जाँच छोड़ने हेतु channels.telegram.groups.<chatId>.disableAudioPreflight: true सेट करें।
• प्रति-विषय ओवरराइड करने के लिए channels.telegram.groups.<chatId>.topics.<threadId>.disableAudioPreflight सेट करें (छोड़ने के लिए true, बलपूर्वक सक्षम करने के लिए false)।
• डिफ़ॉल्ट false है (उल्लेख-गेट की शर्तें मेल खाने पर प्रीफ़्लाइट सक्षम होता है)।

​

ध्यान रखने योग्य बातें

• दायरा नियम पहले-मेल-की-जीत का उपयोग करते हैं; chatType को direct, group, या channel में सामान्यीकृत किया जाता है।
• सुनिश्चित करें कि आपका CLI 0 के साथ बाहर निकले और सादा टेक्स्ट प्रिंट करे; JSON आउटपुट को jq -r .text के माध्यम से रूपांतरित करने की आवश्यकता है।
• ज्ञात फ़ाइल-आउटपुट मोड प्रामाणिक हैं: खाली या अनुपलब्ध अनुमानित ट्रांसक्रिप्ट फ़ाइल CLI प्रगति आउटपुट पर वापस लौटने के बजाय कोई ट्रांसक्रिप्ट नहीं बनाती।
• parakeet-mlx के लिए, --output-dir और डिफ़ॉल्ट {filename} आउटपुट टेम्पलेट के साथ --output-format txt (या all) का उपयोग करें। अपस्ट्रीम PARAKEET_OUTPUT_FORMAT और PARAKEET_OUTPUT_TEMPLATE परिवेश चर का भी पालन किया जाता है। OpenClaw, <output-dir>/<media-basename>.txt पढ़ता है; डिफ़ॉल्ट srt प्रारूप, अन्य प्रारूप और कस्टम आउटपुट टेम्पलेट stdout का उपयोग जारी रखते हैं।
• उत्तर कतार अवरुद्ध होने से बचाने के लिए समय-सीमाएँ उचित रखें (timeoutSeconds, डिफ़ॉल्ट 60s)।
• प्रीफ़्लाइट ट्रांसक्रिप्शन उल्लेख पहचान के लिए केवल पहले ऑडियो अटैचमेंट को संसाधित करता है। अतिरिक्त ऑडियो अटैचमेंट मुख्य मीडिया-समझ चरण के दौरान संसाधित होते हैं।

​

संबंधित

• मीडिया समझ
• वार्ता मोड
• वॉइस वेक