OpenClaw met Ollama lokale inzet, super eenvoudig!

Ben je nog steeds bezorgd over de kosten van het bellen van een grote cloud model? Nog steeds bezorgd over data privacy?

Ik zal je leren hoe je het vandaag moet gebruiken. OpenClaw + Ollama Maak een volledig gelokaliseerde AI assistent, alle gegevens die lokaal, veilig en kosteneffectief werken!

Wat is Ollama?

Ollama is een hulpmiddel voor u om grote taalmodellen lokaal uit te voeren. Het ondersteunt veel open-source modellen zoals Llama 2, Llama 3, Mistral, Gemma, die kunnen worden uitgevoerd zonder GPU.

Officiële website: https://olama.com

Voorbereidingen

1. Installatie van Ollama

MacOS/Linux:

curl -fsSL https://ollama.com/install.sh | bash

Vensters:
Ga direct naar https://olama.com om het installatiepakket te downloaden

Download modellen

Na de installatie, download het model dat u nodig heeft:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Validatie van Ollama run

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Oké!

OpenClaw-configuratie

1. Profiel zoeken

OpenClaw-profiel in ~/.openclaw/openclaw.json

2. Voeg Ollama toe als Aangepast

Voeg het volgende toe aan het profiel:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Voorbeelden van volledige configuratie

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. OpenClaw herstarten

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Vaak voorkomende problemen

Q1: Hoe zit het met langzaam laden?

Het eerste laden van het model zal langzamer zijn omdat het modelbestand gedownload moet worden. Je kunt Ollama in de backstage draaiend houden, elke herstart vermijden.

# 让 Ollama 保持运行
nohup ollama serve &

Q2: Wat als er niet genoeg is?

Selecteer het geurmodel:
Het spijt me. llama3:8b Moet ongeveer 8GB zichtbaar
Het spijt me. mistral:7b Moet ongeveer 8GB zichtbaar
Het spijt me. qwen:7b Moet ongeveer 8GB zichtbaar
Het spijt me. llama3:70b Het kost ongeveer 40 GB om zichtbaar te zijn.

V3: Hoe kijken we naar de modellen?

ollama list

Q4: Trage reactie?

De responspercentages voor lokale modellen zijn afhankelijk van:
Modelgrootte
Zichtbaarheid/RAM-snelheid
CPU prestaties

Aanbevolen kwantificeerbare modellen (band) :q4_K_M Wacht.

Q5: OpenClaw kan geen model vinden?

Ervoor zorgen dat:
Ollama draait:ollama serve
2. Het geconfigureerde model is gedownload:ollama list
3. BaseUrl Correct:http://localhost:11434/v1

Vooruitgang: Multimodel switching

Meerdere fallbacks instellen:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Dus als lama3 niet beschikbaar is, zal het automatisch overschakelen naar het volgende model.

Samenvatting

Via de lokale inzet van Ollama kunt u:

• Zenium Kostenbesparing: Totaal gratis, geen API sleutel
• Zenium Privacy: Gegevens niet lokaal beschikbaar
• Zenium Aanpassen: Vrije keuze van model
• Zenium Stabieler.: Niet afhankelijk van het netwerk

Probeer het maar. Stel me vragen.

---

Maak vrienden, voeg me toe aan de groep, en deel AI en cyber security technologie.