Ollama yerel dağıtım ile OpenClaw, süper basit!

Büyük bir bulut modeli aramak için hala endişeleniyor musunuz? Yine de veri gizliliği konusunda endişeleniyor musunuz?

Bugün nasıl kullanılacağını sana öğreteceğim. OpenClaw + Ollama Tamamen yerelleştirilmiş bir AI asistanı oluşturun, yerel, güvenli ve maliyetli olan tüm veriler!

Ollama Nedir?

Ollama, yerel olarak büyük dil modellerini çalıştırmak için bir araçtır. Llama 2, Llama 3, Mistral, Gemma gibi birçok açık kaynak modeli destekler, bu da GPU olmadan çalıştırılabilir.

Resmi web sitesi: https://ollama.com

Hazırlıklar

1. Ollama

MacOS / Linux:

curl -fsSL https://ollama.com/install.sh | bash

Windows:
Yükleme paketi indirmek için doğrudan https://ollama.com'a gidin

İndirme modelleri

Kurulumdan sonra, ihtiyacınız olan modeli indirin:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Ollama koşusunun Geçerliliği

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Tamam!

OpenClaw Build

1. Profil bul

OpenClaw profili ~/.openclaw/openclaw.json

2. Ollama'yı özel olarak ekle

Profile aşağıdakileri ekleyin:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Tam yapılandırma örnekleri

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Ortak problemler

S1: Yavaş yük nedir?

Modelin ilk yüklemesi, model dosyasını indirme ihtiyacı nedeniyle daha yavaş olacaktır. Ollama'yı arka aşamada çalıştırabilirsiniz, her yeniden başlatmadan kaçınabilirsiniz.

# 让 Ollama 保持运行
nohup ollama serve &

S2: Yeterli değilse ne olur?

Burner modelini seçin:
- Üzgünüm. llama3:8b - Yaklaşık 8GB görünür
- Üzgünüm. mistral:7b - Yaklaşık 8GB görünür
- Üzgünüm. qwen:7b - Yaklaşık 8GB görünür
- Üzgünüm. llama3:70b - görünür olmak için yaklaşık 40 GB alır.

S3: Modellere nasıl bakıyoruz?

ollama list

S4: Yavaş yanıt?

Yerel model yanıt oranları bağlıdır:
Model büyüklüğü
- Viability /RAM hız
- CPU Performansı

Sayısal modeller önerilen (grup) :q4_K_M Bekle, bekleyin, bekleyin.

S5: OpenClaw bir model bulamaz mı?

Bunu sağlamak:
Ollama çalışıyor:ollama serve
2. yapılandırılmış model kaldırıldı:ollama list
3. BaseUrl Doğru:http://localhost:11434/v1

İlerleme: Çokmodel geçiş

Birden çok geri dönüşleri yapılandırın:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Eğer llama3 mevcut değilse, bir sonraki modele otomatik olarak geçecektir.

Özet Özet Özet Özet

Ollama yerel dağıtım sayesinde:

• Zenium Zen Maliyet tasarrufu: Total free, no API Key
• Zenium Zen Gizlilik: Yerel olarak mevcut olmayan veriler
• Zenium Zen Özelleştirin: Model seçimi
• Zenium Zen Daha istikrarlı.: Ağa bağlı değil

Devam edin ve deneyin. Bana herhangi bir soru sor.

---

Arkadaşlarınız, beni gruba ekleyin ve A.I. ve siber güvenlik teknolojisini paylaşın.