OpenClaw con distribuzione locale Ollama, super semplice!

Sei ancora preoccupato per il costo di chiamare un grande modello cloud? Sei ancora preoccupato per la privacy dei dati?

Ti insegnero' come usarlo oggi. OpenClaw + Ollama Creare un assistente AI completamente localizzato, tutti i dati in esecuzione localmente, sicuro e conveniente!

Cos'è Ollama?

Ollama è uno strumento per eseguire grandi modelli di lingua a livello locale. Supporta molti modelli open source come Llama 2, Llama 3, Mistral, Gemma, che possono essere eseguiti senza GPU.

Sito ufficiale: https://ollama.com

Preparazioni

1. Installazione di Ollama

MacOS/ Linux:

curl -fsSL https://ollama.com/install.sh | bash

Finestre:
Vai direttamente a https://ollama.com per scaricare il pacchetto di installazione

Scarica i modelli

Dopo l'installazione, scaricare il modello di cui hai bisogno:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Validazione della corsa di Ollama

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Ok!

Configurazione OpenClaw

1. Trova il profilo

Profilo OpenClaw in ~/.openclaw/openclaw.json

2. Aggiungere Ollama come personalizzato

Aggiungi quanto segue al profilo:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Esempi di configurazione completa

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. Riavviare OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Problemi comuni

Q1: Che dire di carico lento?

Il caricamento iniziale del modello sarà più lento a causa della necessità di scaricare il file modello. Puoi tenere Ollama in esecuzione nel backstage, evitando ogni riavvio.

# 让 Ollama 保持运行
nohup ollama serve &

Q2: E se non bastasse?

Selezionare il modello di odore:
- Mi dispiace. llama3:8b ~ Bisogno di 8GB visibile
- Mi dispiace. mistral:7b ~ Bisogno di 8GB visibile
- Mi dispiace. qwen:7b ~ Bisogno di 8GB visibile
- Mi dispiace. llama3:70b - Ci vogliono circa 40 GB per essere visibili.

Q3: Come guardiamo i modelli?

ollama list

Q4: risposta lenta?

I tassi di risposta dei modelli locali dipendono da:
– Dimensione del modello
– velocità di visibilità/RAM
– Performance della CPU

Modelli quantitativi consigliati (banda) :q4_K_M Aspetta, aspetta, aspetta.

Q5: OpenClaw non riesce a trovare un modello?

Assicurarsi che:
Ollama sta correndo:ollama serve
2. Il modello configurato è stato scaricato:ollama list
3. BaseUrl Corretto:http://localhost:11434/v1

Progresso: commutazione multimodel

Configurare più ricadute:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Quindi, se llama3 non è disponibile, passerà automaticamente al modello successivo.

Sintesi

Attraverso la distribuzione locale di Ollama, è possibile:

• Zeno Risparmio di costi: Totale libero, nessuna chiave API
• Zeno Privacy: Dati non disponibili localmente
• Zeno Personalizzare: Libera scelta del modello
• Zeno Più stabile.: Non dipendente dalla rete

Provi pure. Fatemi qualsiasi domanda.

---

Fai amicizia, aggiungimi al gruppo e condividi A.I. e la tecnologia della sicurezza informatica.