جلب الويب

​

البدء السريع

await web_fetch({ url: "https://example.com/article" });

​

معاملات الأداة

​

آلية العمل

​

تحديثات التقدم

جارٍ جلب محتوى الصفحة...

​

الإعداد

{
  tools: {
    web: {
      fetch: {
        enabled: true, // الافتراضي: true
        provider: "firecrawl", // اختياري؛ احذفه للاكتشاف التلقائي
        maxChars: 20000, // محارف الإخراج الافتراضية؛ مقيّدة بواسطة maxCharsCap
        maxCharsCap: 20000, // الحد الأقصى الصارم لمعامل maxChars
        maxResponseBytes: 750000, // الحد الأقصى لحجم التنزيل قبل الاقتطاع (32000-10000000)
        timeoutSeconds: 30,
        cacheTtlMinutes: 15,
        maxRedirects: 3,
        useTrustedEnvProxy: false, // السماح لوكيل بيئة HTTP(S) موثوق بحل DNS
        readability: true, // استخدام استخراج Readability
        userAgent: "Mozilla/5.0 ...", // تجاوز وكيل المستخدم
        ssrfPolicy: {
          allowRfc2544BenchmarkRange: true, // اشتراك صريح لوكلاء عناوين IP الوهمية الموثوقين الذين يستخدمون 198.18.0.0/15
          allowIpv6UniqueLocalRange: true, // اشتراك صريح لوكلاء عناوين IP الوهمية الموثوقين الذين يستخدمون fc00::/7
        },
      },
    },
  },
}

​

المسار الاحتياطي عبر Firecrawl

{
  tools: {
    web: {
      fetch: {
        provider: "firecrawl", // اختياري؛ احذفه للاكتشاف التلقائي من بيانات الاعتماد المتاحة
      },
    },
  },
  plugins: {
    entries: {
      firecrawl: {
        enabled: true,
        config: {
          webFetch: {
            // apiKey: "fc-...", // اختياري؛ احذفه للوصول المبدئي دون مفتاح
            baseUrl: "https://api.firecrawl.dev",
            onlyMainContent: true,
            maxAgeMs: 172800000, // مدة التخزين المؤقت (يومان)
            timeoutSeconds: 60,
          },
        },
      },
    },
  },
}

• يحدد tools.web.fetch.provider موفّر الجلب الاحتياطي صراحةً.
• إذا حُذف provider، يكتشف OpenClaw تلقائيًا أول موفّر جاهز لجلب الويب من بيانات الاعتماد المضبوطة. يمكن لاستدعاءات web_fetch غير المعزولة استخدام Plugins المثبّتة التي تعلن contracts.webFetchProviders وتسجّل موفّرًا مطابقًا في وقت التشغيل. يوفّر Plugin الرسمي لـ Firecrawl هذا المسار الاحتياطي حاليًا.
• تسمح استدعاءات web_fetch المعزولة بالموفّرين المضمّنين، إضافةً إلى الموفّرين المثبّتين الذين ثبت مصدرهم الرسمي من npm أو ClawHub. يتيح ذلك حاليًا Plugin الرسمي لـ Firecrawl؛ وتظل Plugins الخارجية التابعة لجهات خارجية مستبعدة.
• إذا عُطّل Readability، تنتقل web_fetch مباشرةً إلى مسار الموفّر الاحتياطي المحدد. وإذا لم يتوفر موفّر، تفشل بصورة مغلقة.

​

وكيل البيئة الموثوق

​

الحدود والسلامة

• يُقيَّد maxChars وفق tools.web.fetch.maxCharsCap (الافتراضي 20000)
• يُقيَّد نص الاستجابة عند maxResponseBytes (الافتراضي 750000، ومقيّد بالنطاق 32000-10000000) قبل التحليل؛ وتُقتطع الاستجابات كبيرة الحجم مع تحذير
• تُحظر أسماء المضيفين الخاصة/الداخلية
• يُعد tools.web.fetch.ssrfPolicy.allowRfc2544BenchmarkRange و tools.web.fetch.ssrfPolicy.allowIpv6UniqueLocalRange خيارين ضيقين يتطلبان اشتراكًا صريحًا لحزم وكلاء عناوين IP الوهمية الموثوقة؛ اتركهما دون ضبط ما لم يكن وكيلك يملك تلك النطاقات الاصطناعية ويفرض سياسة الوجهات الخاصة به
• تُفحص عمليات إعادة التوجيه وتُحد وفق maxRedirects (الافتراضي 3)
• يُعد useTrustedEnvProxy اشتراكًا صريحًا، وينبغي تفعيله فقط للوكلاء الخاضعين لتحكم المشغّل الذين يواصلون فرض سياسة الاتصالات الصادرة بعد حل DNS
• تعمل web_fetch وفق أفضل جهد ممكن — تحتاج بعض المواقع إلى متصفح الويب

​

ملفات تعريف الأدوات

{
  tools: {
    allow: ["web_fetch"],
    // أو: allow: ["group:web"]  (يتضمن web_fetch وweb_search وx_search)
  },
}

​

موضوعات ذات صلة

• بحث الويب — البحث في الويب باستخدام عدة موفّرين
• متصفح الويب — أتمتة كاملة للمتصفح للمواقع التي تعتمد بكثافة على JS
• Firecrawl — أدوات Firecrawl للبحث والاستخراج