OpenClaw med Ollama lokale implementering, super simpelt!

Er du stadig bekymret for omkostningerne ved at kalde en stor sky model? Er du stadig bekymret for datasikkerheden?

Jeg lærer dig at bruge den i dag. OpenClaw + Ollama Opret en fuldt lokaliseret AI assistent, alle data kører lokalt, sikkert og omkostningseffektivt!

Hvad er Ollama?

Ollama er et værktøj for dig til at køre store sprogmodeller lokalt. Det understøtter mange open-source modeller som Llama 2, Llama 3, Mistral, Gemma, som kan køres uden GPU.

I henhold til artikel 4, stk. 1, i forordning (EF) nr. 659 / 1999 skal Kommissionen træffe alle nødvendige foranstaltninger for at efterkomme denne afgørelse.

Tilberedte varer

1. Installation af Ollama

MacOS / Linux:

curl -fsSL https://ollama.com/install.sh | bash

Vinduer:
Gå direkte til https: / / ollama.com for at downloade installationspakken

Download modeller

Efter installationen, downloade den model, du har brug for:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Validering af Ollama løb

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Okay!

Indstilling af OpenClaw

1. Find profil

OpenClaw profil ~/.openclaw/openclaw.json

2. Tilføj Ollama som brugerdefineret

Tilføj følgende til profilen:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Eksempler på fuld konfiguration

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. Genstart OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Almindelige problemer

Q1: Hvad med langsom belastning?

Den første indlæsning af modellen vil være langsommere på grund af behovet for at downloade modelfilen. Du kan holde Ollama kørende i backstage, undgå hver genstart.

# 让 Ollama 保持运行
nohup ollama serve &

Q2: Hvad hvis der ikke er nok?

Vælg smeller model:
- Undskyld. llama3:8b # Har brug for omkring 8GB synlig
- Undskyld. mistral:7b # Har brug for omkring 8GB synlig
- Undskyld. qwen:7b # Har brug for omkring 8GB synlig
- Undskyld. llama3:70b ~ Det tager omkring 40 GB at være synlig.

Q3: Hvordan ser vi på modellerne?

ollama list

- Langsomt svar?

Lokale modelresponsrater afhænger af:
- Modelstørrelse
- Sigtbarhed / RAM hastighed
- CPU ydeevne

Anbefalede kvantitative modeller (bånd) :q4_K_M Vent.

Q5: OpenClaw kan ikke finde en model?

Sikre, at:
Ollama kører:ollama serve
2. Den konfigurerede model er blevet downloadet:ollama list
3. BaseUrl Korrekt:http://localhost:11434/v1

Fremskridt: Multimodelskift

Indstil flere fejl:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Så hvis lama3 ikke er tilgængelig, vil det automatisk skifte til den næste model.

Oversigt

Gennem Ollama lokale implementering, kan du:

• Zenium Omkostningsbesparelser: Total fri, ingen API-nøgle
• Zenium Privatliv: Data ikke tilgængelige lokalt
• Zenium TilpasFrit valg af model
• Zenium Mere stabil.: Ikke afhængig af netværket

Prøv bare. Stil mig alle spørgsmål.

---

Få venner, føj mig til gruppen og del A.I. og cybersikkerhedsteknologi.