OpenClaw dengan Ollama lokal penyebaran, super sederhana!

Apakah Anda masih khawatir tentang biaya memanggil model awan besar? Masih khawatir tentang privasi data?

Aku akan mengajarimu cara menggunakannya hari ini. OpenClaw + Ollama AI asisten AI sepenuhnya lokalisasi, semua data berjalan lokal, aman dan hemat biaya!

Apa itu Ollama?

Ollama adalah alat bagi Anda untuk menjalankan model bahasa besar secara lokal. Ini mendukung banyak model open-source seperti Llama 2, Llama 3, Mistral, Gemma, yang dapat dijalankan tanpa GPU.

Situs web resmi: https://ollama.com

Persiapan

1. Pemasangan Ollama

[ MacOS]:

curl -fsSL https://ollama.com/install.sh | bash

Jendela:
Pergi langsung ke https://ollama.com untuk mengunduh paket pemasangan

Model unduhan model

Setelah pemasangan, muat turun model yang Anda butuhkan:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

Kesahian Ollama dijalankan

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Oke!

Konfigurasi OpenClaw

Profil Cari 1.

Profil OpenClaw di ~/.openclaw/openclaw.json

2. Tambah Ollama sebagai Kebiasaan

** Tambahkan hal berikut ke profil:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

Contoh konfigurasi penuh

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

2. Restart Ulang OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Masalah umum

Bagaimana dengan low-loading?

Pemuatan awal model akan lebih lambat karena kebutuhan untuk mengunduh berkas model. Anda dapat menjaga Ollama berjalan di belakang panggung, menghindari setiap start ulang.

# 让 Ollama 保持运行
nohup ollama serve &

Bagaimana jika tidak cukup?

Pilih model pencium:
Maafkan aku. llama3:8b Perlu sekitar 8GB terlihat
Maafkan aku. mistral:7b Perlu sekitar 8GB terlihat
Maafkan aku. qwen:7b Perlu sekitar 8GB terlihat
Maafkan aku. llama3:70b Butuh sekitar 40 GB untuk terlihat.

Bagaimana kita melihat modelnya?

ollama list

Respon lambat?

Tingkat respon model lokal bergantung pada:
Model
– Kecepatan penglihatan/RAM
Kinerja CPU –

Model Quantified direkomendasikan (band) :q4_K_M Tunggu, tunggu, tunggu.

OpenClaw tidak bisa menemukan model?

Pastikan bahwa:
Ollama berjalan:ollama serve
2. Model yang telah dikonfigurasi telah diunduh:ollama list
25.http://localhost:11434/v1

Kemajuan: Pertukaran multimodel

Buat beberapa kesalahan:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Jadi jika llama3 tidak tersedia, maka akan otomatis beralih ke model berikutnya.

Ringkasan

Melalui Ollama penyebaran lokal, Anda dapat:

• Zenium tabungan biaya tabunganTotal gratis, tidak ada Kunci API
• Zenium PrivasiData tidak tersedia secara lokal
• Zenium KebiasaanPilihan bebas model
• Zenium Lebih stabil.Tidak tergantung pada jaringan

Silakan coba. Tanya aku apa saja.

---

Buat teman, tambahkan aku ke grup, dan bagi A.I. dan teknologi keamanan cyber.