OpenClaw với đội quân địa phương, cực kỳ đơn giản!

Anh vẫn còn lo lắng về cái giá của việc gọi một người mẫu mây lớn? Vẫn còn lo lắng về sự riêng tư dữ liệu?

Hôm nay tôi sẽ dạy anh cách sử dụng nó. OpenClaw + Ollama Tạo một trợ lý AI cục bộ, tất cả dữ liệu đang chạy ở địa phương, an toàn và có hiệu quả chi phí!

Ollama là gì?

Ollama là một công cụ giúp bạn chạy những mô hình ngôn ngữ lớn tại địa phương. Nó hỗ trợ nhiều mô hình mã nguồn mở như Llama 2, Llama 3, Mistral, Gemma, có thể chạy mà không cần GPU.

Trang web chính thức: https vội vàng.com

Chuẩn bị

1. Cài đặt Ollama

MacOS/ Linux:

curl -fsSL https://ollama.com/install.sh | bash

Cửa sổ:
Đi thẳng đến https vội vàng.com để tải về gói cài đặt

Tải về

Sau khi cài đặt, tải mô hình bạn cần:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3 Kiểm tra lại cuộc chạy của Ollama

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Được rồi!

Cấu hình OpenClaw

1. Tìm hồ sơ

Hồ sơ OpenClaw trong ~/.openclaw/openclaw.json

Số 2.

Thêm những điều sau cho hồ sơ:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Ví dụ về cấu hình đầy đủ

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4 Khởi động lại OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Vấn đề chung

Còn nạp chậm thì sao?

Việc tải mô hình đầu tiên sẽ chậm hơn vì cần tải về tập tin mô hình. Anh có thể để Ollama chạy ở hậu trường, tránh mọi khởi động lại.

# 让 Ollama 保持运行
nohup ollama serve &

Nếu không đủ thì sao?

Chọn kiểu người ngửi:
- Tôi xin lỗi. llama3:8b ♪ Cần khoảng 8GB nhìn thấy
- Tôi xin lỗi. mistral:7b ♪ Cần khoảng 8GB nhìn thấy
- Tôi xin lỗi. qwen:7b ♪ Cần khoảng 8GB nhìn thấy
- Tôi xin lỗi. llama3:70b - Cần khoảng 40 GB để nhìn thấy.

Chúng ta nhìn các mô hình như thế nào?

ollama list

Phản ứng chậm?

Tỷ lệ trả lời của mô hình cục bộ phụ thuộc vào:
- Cỡ mô hình
- Tốc độ tối đa/ BR
- Hệ thống CPU

Mô hình số hoá khuyên (ban) :q4_K_M Khoan đã.

OpenClaw không tìm được người mẫu à?

Hãy đảm bảo rằng:
Ollama đang chạy:ollama serve
Mô hình đã được cấu hình:ollama list
3. Chính xác.http://localhost:11434/v1

Tiến hành: Bộ chuyển đổi đa mẫu

Cấu hình nhiều hậu phương:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Vì vậy, nếu lạc đà 3 không có sẵn, nó sẽ tự động chuyển sang mô hình tiếp theo.

Tóm tắt

Thông qua đội quân địa phương, bạn có thể:

• Zenium Chi phí tiết kiệm: toàn bộ miễn phí, không có khoá API
• Zenium Riêng tư: Dữ liệu không sẵn sàng tại địa phương
• Zenium Tuỳ biến: Tự do chọn mô hình
• Zenium Ổn định hơn.: không phụ thuộc vào mạng

Thử đi. Hỏi tôi bất cứ câu hỏi nào.

---

Kết bạn, thêm tôi vào nhóm, và chia sẻ A.I. và công nghệ an ninh mạng.