Skip to main content
llama-cpp — це офіційний зовнішній Plugin-постачальник для локальних вбудовувань GGUF. Він реєструє ідентифікатор постачальника вбудовувань local і відповідає за залежність середовища виконання node-llama-cpp, яку використовує memorySearch.provider: "local". Установіть його перед використанням локальних вбудовувань пам’яті:
Основний npm-пакет openclaw не містить node-llama-cpp. Зберігання нативної залежності в цьому Plugin запобігає видаленню вручну встановленого середовища виконання в каталозі пакета OpenClaw під час звичайних оновлень OpenClaw через npm.

​
Конфігурація

Установіть для memorySearch.provider значення local:
За замовчуванням local.modelPath має значення URI hf:, наведене вище (embeddinggemma-300m-qat-Q8_0.gguf). Укажіть інший URI hf: або локальний файл .gguf, щоб використовувати іншу модель. local.modelCacheDir змінює розташування кешу завантажених моделей (за замовчуванням: ~/.node-llama-cpp/models), а local.contextSize приймає ціле число або "auto". Коли local.contextSize має числове значення, постачальник також передає цю вимогу механізму автоматичного розміщення шарів у GPU в node-llama-cpp. Це дає змогу node-llama-cpp одночасно розмістити модель і контекст вбудовувань, зберігаючи перевірки безпеки пам’яті. Зі значенням "auto" node-llama-cpp використовує звичайне автоматичне розміщення.

​
Нативне середовище виконання

Використовуйте Node 24 для найпростішого встановлення нативних компонентів. У вихідних копіях, що використовують pnpm, може знадобитися схвалити й перебудувати нативну залежність:

​
Діагностика середовища виконання

Після завантаження постачальника виконайте openclaw memory status --deep, щоб перевірити вибраний бекенд і збірку, назви пристроїв, кількість шарів, вивантажених у GPU, запитаний розмір контексту та останній зафіксований знімок VRAM або уніфікованої пам’яті. Значення VRAM містять позначку часу спостереження, оскільки пасивне читання стану не перезавантажує модель і не опитує пристрій. Ті самі останні відомі дані можуть відображатися в openclaw doctor, якщо запущений Gateway уже використовував локального постачальника. Звичайна команда перевірки стану або doctor не завантажує модель лише для збирання діагностичних даних.

​
Усунення несправностей

Якщо node-llama-cpp відсутній або не завантажується, OpenClaw повідомляє про помилку з такими рекомендаціями:
  1. Установіть Plugin: openclaw plugins install @openclaw/llama-cpp-provider.
  2. Використовуйте Node 24 для встановлення й оновлення нативних компонентів.
  3. У вихідній копії з pnpm виконайте pnpm approve-builds, а потім pnpm rebuild node-llama-cpp.
Щоб використовувати локальні вбудовування без складнощів, пов’язаних із нативним збиранням, натомість установіть для memorySearch.provider віддаленого постачальника вбудовувань, наприклад lmstudio, ollama, openai або voyage.