OpenClaw Ollama paikallinen käyttöönotto, super yksinkertainen!

Oletko yhä huolissasi ison pilvimallin soittamisesta? Oletko yhä huolissasi tietosuojasta?

Opetan sinut käyttämään sitä tänään. OpenClaw + Ollama Luo täysin paikallinen tekoälyassistentti, kaikki paikallinen, turvallinen ja kustannustehokas tieto!

Mikä on Ollama?

Ollama on työkalu, jolla voit ajaa suuria kielimalleja paikallisesti. Se tukee monia avoimen lähdekoodin malleja, kuten Llama 2, Llama 3, Mistral, Gemma, joka voidaan suorittaa ilman GPU.

Virallinen verkkosivusto: https://ollama.com

Valmisteet

1. Ollaman asennus

MacOS/ Linux:

curl -fsSL https://ollama.com/install.sh | bash

Ikkunat:
Siirry suoraan https://ollama.comiin ladataksesi asennuspaketin

Lataa mallit

Asennuksen jälkeen lataa tarvitsemasi malli:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Ollama-ajon validointi

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Selvä!

OpenClaw- asetukset

1. Etsi profiili

OpenClaw-profiili ~/.openclaw/openclaw.json

2. Lisää Ollama oma

Lisätään profiiliin seuraava:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Esimerkkejä täydellisestä kokoonpanosta

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. Käynnistä OpenClaw uudelleen

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Yleiset ongelmat

Q1: Entä hidas lataaminen?

Mallin alkuperäinen lataus tulee olemaan hitaampaa, koska mallitiedosto on ladattava. Voit pitää Ollaman lavan takana välttäen jokaista uudelleenkäynnistystä.

# 让 Ollama 保持运行
nohup ollama serve &

Entä jos niitä ei ole tarpeeksi?

Valitse hajustemalli:
Anteeksi. llama3:8b ~ Tarvitset noin 8GB näkyvää
Anteeksi. mistral:7b ~ Tarvitset noin 8GB näkyvää
Anteeksi. qwen:7b ~ Tarvitset noin 8GB näkyvää
Anteeksi. llama3:70b Vaatii noin 40 GB näkyä.

K3: Miten katsomme malleja?

ollama list

Kysymys 4: Hidas reaktio?

Paikallisten mallien vasteprosentit riippuvat seuraavista:
Mallin koko
Näkyvyys/RAM-nopeus
Suoritinteho

Suositellut määrälliset mallit (kaista) :q4_K_M Odota.

K5: OpenClaw ei löydä mallia?

varmistaa, että
Ollama on käynnissä:ollama serve
2. Konfiguroitu malli on ladattu:ollama list
3. BaseUrl Oikein:http://localhost:11434/v1

Edistyminen: Monimallivaihto

Muokkaa useita varaosia:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Joten jos laama3 ei ole saatavilla, se siirtyy automaattisesti seuraavaan malliin.

Yhteenveto

Ollaman kautta voit:

• Zenium Kustannussäästöt: Yhteensä vapaa, ei API avain
• Zenium Yksityisyys: Tiedot eivät ole saatavilla paikallisesti
• Zenium Oma: Mallin vapaa valinta
• Zenium Vakaampi.: Ei riippuvainen verkosta

Kokeile. Kysy kysymyksiä.

---

Hanki ystäviä, lisää minut ryhmään, ja jakaa tekoälyä ja kyberturvallisuusteknologiaa.