OpenClaw med Ollama lokal distribution, super enkel!

Är du fortfarande orolig för kostnaden för att ringa en stor molnmodell? Fortfarande orolig för dataintegritet?

Jag lär dig hur du använder den idag. OpenClaw + Ollama Skapa en fullt lokaliserad AI-assistent, all data som körs lokalt, säkert och kostnadseffektivt!

Vad är Ollama?

Ollama är ett verktyg för dig att köra stora språkmodeller lokalt. Det stöder många open-source-modeller som Llama 2, Llama 3, Mistral, Gemma, som kan köras utan GPU.

Officiell webbplats: https://ollama.com

Förberedelser

Installation av Ollama

MacOS/Linux:

curl -fsSL https://ollama.com/install.sh | bash

Windows:
Gå direkt till https://ollama.com för att ladda ner installationspaketet

Ladda ner modeller

Efter installation, ladda ner den modell du behöver:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

Validering av Ollama löpning

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Okej!

OpenClaw konfiguration

1. hitta profil

OpenClaw-profil i ~/.openclaw/openclaw.json

Lägg till Ollama som anpassad

Lägg till följande i profilen:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

Exempel på fullständig konfiguration

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

Restart OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Vanliga problem

Q1: Vad sägs om långsam lastning?

Den första belastningen av modellen kommer att vara långsammare på grund av behovet av att ladda ner modellfilen. Du kan hålla Ollama i backstage, undvika varje omstart.

# 让 Ollama 保持运行
nohup ollama serve &

Q2: Tänk om det inte räcker?

Välj smellermodellen:
Jag är ledsen. llama3:8b Behöver ca 8 GB synlig
Jag är ledsen. mistral:7b Behöver ca 8 GB synlig
Jag är ledsen. qwen:7b Behöver ca 8 GB synlig
Jag är ledsen. llama3:70b Det tar ca 40 GB att vara synlig.

Q3: Hur ser vi på modellerna?

ollama list

Q4: Långsamt svar?

Lokala modellresponsfrekvenser beror på:
- Modellstorlek
Visibility/RAM-hastighet
CPU Performance

Kvantifierade modeller rekommenderade (band) :q4_K_M Vänta, vänta, vänta.

OpenClaw kan inte hitta en modell?

Se till att:
Ollama kör:ollama serve
Den konfigurerade modellen har laddats ner:ollama list
BaseUrl Correct:http://localhost:11434/v1

Framsteg: Multimodel switching

Konfigurera flera nedgångar:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Så om llama3 inte är tillgänglig kommer den automatiskt att byta till nästa modell.

Sammanfattning

Genom Ollama lokal distribution kan du:

• Zenium KostnadsbesparingarTotalt gratis, ingen API Key
• Zenium SekretessData som inte finns lokalt
• Zenium AnpassningFritt val av modell
• Zenium Mer stabilt.Inte beroende av nätverket

Gå vidare och försök. Fråga mig några frågor.

---

Få vänner, lägg till mig i gruppen och dela AI och cybersäkerhetsteknik.