OpenClaw с Olama местно разполагане, супер просто!

Все още ли се притесняваш за цената да наречеш голям облачен модел? Още ли се притесняваш за личните данни?

Ще те науча как да го използваш днес. OpenClaw + Ollama Създаване на напълно локализиран AI асистент, всички данни работи локално, безопасно и икономически ефективно!

Какво е Олама?

Олама е инструмент за вас да стартирате големи езикови модели на местно ниво. Тя поддържа много модели с отворен код като Llama 2, Llama 3, Mistral, Gemma, които могат да се управляват без GPU.

Официален уебсайт: https://ollama.com

Препарати

1. Монтаж на Олама

MacOS/ Linux:

curl -fsSL https://ollama.com/install.sh | bash

Прозорци:
Отидете направо на https://ollama.com, за да изтеглите инсталационния пакет

Изтегляне на модели

След монтажа изтеглете модела, от който се нуждаете:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Утвърждаване на Olama Run

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Добре!

Настройки на OpenClaw

1. Намерете профила

Профил OpenClaw в ~/.openclaw/openclaw.json

2. Добавете Олама като потребителски

Добавяне на следното към профила:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Примери за пълна конфигурация

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. Рестартирайте OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Общи проблеми

Q1: Какво ще кажете за бавно зареждане?

Първоначалното зареждане на модела ще бъде по-бавно поради необходимостта от изтегляне на файла модел. Можеш да държиш Олама да бяга зад сцената, избягвайки всяко рестартиране.

# 让 Ollama 保持运行
nohup ollama serve &

Q2: Ами ако няма достатъчно?

Изберете миризлив модел:
Съжалявам. llama3:8b ~ Трябват ни около 8GB видими
Съжалявам. mistral:7b ~ Трябват ни около 8GB видими
Съжалявам. qwen:7b ~ Трябват ни около 8GB видими
Съжалявам. llama3:70b Трябват около 40 GB, за да се види.

Q3: Как гледаме на моделите?

ollama list

Q4: Бавен отговор?

Степента на отговор на локалния модел зависи от:
Размер на модела
Скорост на видимост/RAM
– CPU Performance

Квантифицирани модели препоръчва (band) :q4_K_M Чакай, чакай, чакай.

Q5: OpenClaw не може да намери модел?

Уверете се, че:
Олама бяга:ollama serve
2. Конфигурираният модел е изтеглен:ollama list
3. BaseUrl Правилно:http://localhost:11434/v1

Прогрес: Multimodel change

Настройване на множество резервни части:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Ако лама3 не е на разположение, автоматично ще премине към следващия модел.

Резюме

Чрез местно разполагане на Олама можете:

• Зений Спестявания на разходи: Общо безплатно, без API ключ
• Зений Поверителност: Данни не са налични на място
• Зений Персонализиране: Безплатен избор на модел
• Зений По-стабилна.: Не зависим от мрежата

Опитай. Задай ми някакви въпроси.

---

Сприятели се, добави ме към групата и сподели технологията за кибер сигурност.