web_fetch طلب HTTP GET عاديًا وتستخرج المحتوى القابل للقراءة
(من HTML إلى markdown أو نص). وهي لا تنفّذ JavaScript.
للمواقع كثيفة الاعتماد على JS أو الصفحات المحمية بتسجيل الدخول، استخدم
متصفح الويب بدلًا من ذلك.
البدء السريع
web_fetch مفعّلة افتراضيًا — لا يلزم أي إعداد. يستطيع الوكيل
استدعاءها فورًا:
معاملات الأداة
عنوان URL المراد جلبه.
http(s) فقط.تنسيق الإخراج بعد استخراج المحتوى الرئيسي.
اقتطاع الإخراج إلى هذا العدد من الأحرف.
كيف تعمل
Fetch
يرسل طلب HTTP GET باستخدام User-Agent مشابه لـ Chrome وترويسة
Accept-Language. يحظر أسماء المضيفين الخاصة/الداخلية ويعيد فحص عمليات إعادة التوجيه.Fallback (optional)
إذا فشل Readability وكان Firecrawl محددًا، يعيد المحاولة عبر
Firecrawl API بوضع تجاوز البوتات.
تحديثات التقدم
تصدرweb_fetch سطر تقدم عامًا فقط عندما يظل الجلب معلقًا
بعد خمس ثوانٍ:
الإعداد
احتياطي Firecrawl
إذا فشل استخراج Readability، يمكن لـweb_fetch الرجوع إلى
Firecrawl لتجاوز البوتات وتحسين الاستخراج:
plugins.entries.firecrawl.config.webFetch.apiKey اختياري ويدعم كائنات SecretRef.
تُرحّل إعدادات tools.web.fetch.firecrawl.* القديمة تلقائيًا بواسطة openclaw doctor --fix.
إذا أعددت Firecrawl API-key SecretRef ولم يُحلّ مع عدم وجود
بديل env باسم
FIRECRAWL_API_KEY، يفشل بدء تشغيل Gateway بسرعة.تجاوزات
baseUrl في Firecrawl مقيّدة بإحكام: تستخدم الحركة المستضافة
https://api.firecrawl.dev؛ ويجب أن تستهدف تجاوزات الاستضافة الذاتية نقاط نهاية خاصة أو
داخلية، ولا يُقبل http:// إلا لتلك الأهداف الخاصة.- يحدد
tools.web.fetch.providerمزود احتياطي الجلب صراحةً. - إذا حُذف
provider، يكتشف OpenClaw تلقائيًا أول مزود web-fetch جاهز من بيانات الاعتماد المعدّة. يمكن لاستدعاءweb_fetchغير المعزول استخدام Plugins المثبتة التي تعلنcontracts.webFetchProvidersوتسجل مزودًا مطابقًا في وقت التشغيل. يوفر Plugin الرسمي لـ Firecrawl هذا الاحتياطي. - تسمح استدعاءات
web_fetchالمعزولة بالمزودين المضمّنين بالإضافة إلى المزودين المثبتين الذين جرى التحقق من مصدرهم الرسمي عبر npm أو ClawHub. حاليًا يسمح ذلك بـ Plugin الرسمي لـ Firecrawl؛ وتظل Plugins الجلب الخارجية التابعة لأطراف ثالثة مستبعدة. - إذا عُطّل Readability، تتجاوز
web_fetchمباشرة إلى احتياطي المزود المحدد. إذا لم يتوفر أي مزود، تفشل بإغلاق آمن.
وكيل env موثوق
إذا كان نشرُك يتطلب أن تمرweb_fetch عبر وكيل HTTP(S) صادر
موثوق، فاضبط tools.web.fetch.useTrustedEnvProxy: true.
في هذا الوضع، يظل OpenClaw يطبق فحوصات SSRF المستندة إلى اسم المضيف قبل إرسال
الطلب، لكنه يترك للوكيل حل DNS بدلًا من تثبيت DNS المحلي.
فعّل هذا فقط عندما يكون الوكيل خاضعًا لتحكم المشغّل ويفرض
سياسة الخروج بعد حل DNS.
إذا لم يكن أي متغير env لوكيل HTTP(S) معدًا، أو كان المضيف الهدف مستبعدًا بواسطة
NO_PROXY، تعود web_fetch إلى المسار الصارم العادي مع تثبيت DNS
المحلي.الحدود والسلامة
- يُقيّد
maxCharsإلىtools.web.fetch.maxCharsCap - يُحدّ جسم الاستجابة عند
maxResponseBytesقبل التحليل؛ وتُقتطع الاستجابات كبيرة الحجم مع تحذير - تُحظر أسماء المضيفين الخاصة/الداخلية
tools.web.fetch.ssrfPolicy.allowRfc2544BenchmarkRangeوtools.web.fetch.ssrfPolicy.allowIpv6UniqueLocalRangeهما خيارا تفعيل ضيقان لمكدسات وكلاء fake-IP الموثوقة؛ اتركهما غير مضبوطين ما لم يكن وكيلك يملك تلك النطاقات الاصطناعية ويفرض سياسة الوجهة الخاصة به- تُفحص عمليات إعادة التوجيه وتُحد بواسطة
maxRedirects useTrustedEnvProxyخيار تفعيل صريح ويجب ألا يُفعّل إلا للوكلاء الخاضعين لتحكم المشغّل الذين ما زالوا يفرضون سياسة الخروج بعد حل DNSweb_fetchتعمل بأفضل جهد — تحتاج بعض المواقع إلى متصفح الويب
ملفات تعريف الأدوات
إذا كنت تستخدم ملفات تعريف الأدوات أو قوائم السماح، فأضفweb_fetch أو group:web:
ذات صلة
- بحث الويب — ابحث في الويب باستخدام مزودين متعددين
- متصفح الويب — أتمتة متصفح كاملة للمواقع كثيفة الاعتماد على JS
- Firecrawl — أدوات بحث وكشط Firecrawl