OpenClaw cu implementare locală Ollama, super simplu!

Încă îţi mai faci griji pentru costul de a numi un model mare de nori? Încă îngrijorat de confidențialitatea datelor?

Te voi învăţa cum să-l foloseşti azi. OpenClaw + Ollama Creați un asistent AI complet localizat, toate datele rulează la nivel local, sigur și rentabil!

Ce este Ollama?

Ollama este un instrument pentru tine de a rula modele lingvistice mari la nivel local. Acesta sprijină multe modele open-source, cum ar fi Llama 2, Llama 3, Mistral, Gemma, care pot fi difuzate fără GPU.

Site-ul oficial: https://ollama.com

Preparate

1. Instalarea Ollama

MacOS/ Linux:

curl -fsSL https://ollama.com/install.sh | bash

Ferestre:
Du-te direct la https://ollama.com pentru a descărca pachetul de instalare

Descărcați modelele

După instalare, descărcați modelul de care aveți nevoie:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Validarea Olama Run

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Bine!

Configurare OpenClaw

1. Găsiți profilul

Profilul OpenClaw în ~/.openclaw/openclaw.json

2. Adăugați Ollama ca personalizat

Se adaugă următorul text la profil:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Exemple de configurare completă

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. Reporniți OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Probleme frecvente

Q1: Cum rămâne cu încărcarea lentă?

Încărcarea inițială a modelului va fi mai lentă din cauza necesității de a descărca fișierul model. Puteți păstra Ollama rulează în culise, evitând fiecare repornire.

# 让 Ollama 保持运行
nohup ollama serve &

Î2: Ce se întâmplă dacă nu e suficient?

Selectaţi modelul de mirositor:
Îmi pare rău. llama3:8b ~ Nevoie de aproximativ 8GB vizibile
Îmi pare rău. mistral:7b ~ Nevoie de aproximativ 8GB vizibile
Îmi pare rău. qwen:7b ~ Nevoie de aproximativ 8GB vizibile
Îmi pare rău. llama3:70b ~ Este nevoie de aproximativ 40 GB pentru a fi vizibile.

Î3: Cum privim modelele?

ollama list

Q4: Răspuns lent?

Ratele de răspuns ale modelului local depind de:
– Model size
Viteza de vizibilitate/RAM
– CPU Performance

Modele cuantificate recomandate (bandă) :q4_K_M Stai, stai, stai.

Q5: OpenClaw nu poate găsi un model?

Se asigură că:
Ollama rulează:ollama serve
2. Modelul configurat a fost descărcat:ollama list
3. BaseUrl Corect:http://localhost:11434/v1

Progres: Comutare multimodel

Configurează mai multe retrageri:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Deci, dacă lama3 nu este disponibil, acesta va trece automat la următorul model.

Rezumat

Prin desfăşurarea locală Ollama, puteţi:

• Zeniu Economii de costuri: Total gratuit, fără cheie API
• Zeniu Confidențialitate: Datele nu sunt disponibile la nivel local
• Zeniu Personalizează: Libera alegere a modelului
• Zeniu Mai stabil.: Nu depinde de rețea

Încearcă. Pune-mi întrebări.

---

Fă-ţi prieteni, adaugă-mă la grup, şi împarte AI şi tehnologia securităţii cibernetice.