OpenClaw с локальным развертыванием Ollama, очень просто!

Вы все еще беспокоитесь о стоимости вызова модели большого облака? Вы все еще беспокоитесь о конфиденциальности данных?

Я научу тебя, как использовать его сегодня. OpenClaw + Ollama Создайте полностью локализованного помощника искусственного интеллекта, все данные работают локально, безопасны и экономичны!

Что такое Оллама?

Ollama - это инструмент для запуска больших языковых моделей на местном уровне. Он поддерживает множество моделей с открытым исходным кодом, таких как Llama 2, Llama 3, Mistral, Gemma, которые могут работать без GPU.

Официальный сайт: https://ollama.com

Подготовка

1.Установка Ollama

MacOS/Linux:

curl -fsSL https://ollama.com/install.sh | bash

Windows:
Перейдите прямо на https://ollama.com, чтобы загрузить установочный пакет

Скачать модели

После установки загрузите необходимую вам модель:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Проверка пробежки Олламы

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Хорошо!

Конфигурация OpenClaw

1 Найти профиль

Профиль OpenClaw ~/.openclaw/openclaw.json

2. Добавить Ollama в Custom

Добавить в профиль следующее:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Примеры полной конфигурации

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4 Перезапустить OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Общие проблемы

Q1: Как насчет медленной загрузки?

Начальная загрузка модели будет медленнее из-за необходимости загрузки файла модели. Вы можете держать Олламу за кулисами, избегая перезапуска.

# 让 Ollama 保持运行
nohup ollama serve &

Q2: А если этого недостаточно?

Выберите модель ароматизатора:
- Прости. llama3:8b Нужно 8 ГБ видимого
- Прости. mistral:7b Нужно 8 ГБ видимого
- Прости. qwen:7b Нужно 8 ГБ видимого
- Прости. llama3:70b Чтобы быть видимым, требуется около 40 ГБ.

Q3: Как мы смотрим на модели?

ollama list

Q4: Медленный ответ?

Показатели ответов местных моделей зависят от:
Размер модели
- Видимость/скорость ОЗУ
Производительность CPU

Рекомендуемые количественные модели (диапазон) :q4_K_M Подожди, подожди.

Q5: OpenClaw не может найти модель?

Убедитесь, что:
Оллама работает:ollama serve
2.Настроенная модель была загружена:ollama list
3.Правильное основание:http://localhost:11434/v1

Прогресс: Мультимодельное переключение

Настройте несколько резервных копий:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Так что если llama3 не будет доступна, она автоматически перейдет на следующую модель.

Резюме

Благодаря локальному развертыванию Ollama вы можете:

• Зенит Экономия средствАбсолютно бесплатно, без ключа API
• Зенит конфиденциальностьДанные, недоступные локально
• Зенит кастомизироватьСвободный выбор модели
• Зенит Стабильнее.Не зависит от сети

Давай, попробуй. Задавайте мне любые вопросы.

---

Заведите друзей, добавьте меня в группу и поделитесь ИИ и технологиями кибербезопасности.