OpenClaw med Ollama lokal distribusjon, super enkel!

Er du bekymret for kostnadene ved å kalle en stor skymodell? Fortsatt bekymret for personvern?

Jeg lærer deg å bruke den i dag. OpenClaw + Ollama Opprett en fullt lokalisert AI-assistent, alle data som kjører lokalt, trygt og kostnadseffektivt!

Hva er Ollama?

Ollama er et verktøy for deg å kjøre store språkmodeller lokalt. Den støtter mange open-source-modeller som Llama 2, Llama 3, Mistral, Gemma, som kan kjøres uten GPU.

Offisiell hjemmeside: https://ollama.com

Forberedelser

1. Installasjon av Ollama

MacOS/ Linux:

curl -fsSL https://ollama.com/install.sh | bash

Windows:
Gå rett til https://ollama.com for å laste ned installasjonspakken

Last ned modeller

Etter installasjon, laste ned modellen du trenger:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Validering av Ollama kjøre

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Greit!

OpenClaw-konfigurasjon

1. Finn profil

OpenClaw profil i ~/.openclaw/openclaw.json

2. Legg til Ollama som Custom

Legg til følgende i profilen:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Eksempler på full konfigurasjon

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. Start OpenClaw på nytt

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Vanlige problemer

Q1: Hva med langsom lasting?

Den første lastingen av modellen vil være langsommere på grunn av behovet for å laste ned modellfilen. Du kan holde Ollama kjører i backstage, unngå hver omstart.

# 让 Ollama 保持运行
nohup ollama serve &

Q2: Hva om det ikke er nok?

Velg luktemodell:
- Jeg beklager. llama3:8b ~ Trenger 8GB synlig
- Jeg beklager. mistral:7b ~ Trenger 8GB synlig
- Jeg beklager. qwen:7b ~ Trenger 8GB synlig
- Jeg beklager. llama3:70b Det tar rundt 40 GB å være synlig.

Q3: Hvordan ser vi på modellene?

ollama list

Q4: Langsom respons?

Lokale modellresponssatser er avhengige av:
– Modellstørrelse
– Synlighet/RAM-hastighet
– CPU-ytelse

Anbefalte Quantified-modeller (band) :q4_K_M Vent.

Q5: OpenClaw kan ikke finne en modell?

Sikre at:
Ollama løper:ollama serve
2. Den konfigurerte modellen er lastet ned:ollama list
3. BaseUrl Korrekt:http://localhost:11434/v1

Fremdrift: Multimodel bryter

Konfigurere flere tilbakefall:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Hvis lama3 ikke er tilgjengelig, vil den automatisk bytte til neste modell.

Sammendrag

Gjennom Ollama lokal distribusjon kan du:

• Zenium Kostnadsbesparelser: Totalt gratis, ingen API-nøkkel
• Zenium Personvern: Data ikke tilgjengelig lokalt
• Zenium Tilpass: Gratis valg av modell
• Zenium Mer stabil.Ikke avhengig av nettverket

Gå videre og prøv. Still meg spørsmål.

---

Få venner, legg til meg i gruppen og del A.I. og cybersikkerhetsteknologi.