OpenClaw avec le déploiement local d'Ollama, super simple !

Êtes-vous toujours inquiet au sujet du coût d'appeler un grand modèle de cloud? Toujours inquiet pour la confidentialité des données ?

Je vais vous apprendre à l'utiliser aujourd'hui. OpenClaw + Ollama Créez un assistant IA entièrement localisé, toutes les données fonctionnant localement, en toute sécurité et rentable !

C'est quoi Ollama ?

Ollama est un outil pour vous d'exécuter de grands modèles de langue localement. Il prend en charge de nombreux modèles open-source tels que Lama 2, Lama 3, Mistral, Gemma, qui peut être exécuté sans GPU.

Site officiel: https://ollama.com

Préparations

1. Installation d'Ollama

MacOS/ Linux :

curl -fsSL https://ollama.com/install.sh | bash

Windows & #160;:
Allez directement à https://ollama.com pour télécharger le paquet d'installation

Télécharger les modèles

Après l'installation, téléchargez le modèle dont vous avez besoin:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Validation de la course Ollama

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Très bien !

Configuration OpenClaw

1. Trouver un profil

Profil OpenClaw dans ~/.openclaw/openclaw.json

2. Ajouter Ollama comme personnalisé

Ajouter ce qui suit au profil :

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Exemples de configuration complète

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. Redémarrer OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Problèmes courants

Q1: Qu'en est-il du chargement lent?

Le chargement initial du modèle sera plus lent en raison de la nécessité de télécharger le fichier modèle. Vous pouvez garder Ollama en marche dans les coulisses, en évitant chaque redémarrage.

# 让 Ollama 保持运行
nohup ollama serve &

Q2 : Et s'il n'y en a pas assez ?

Sélectionnez le modèle d'odeur :
- Je suis désolé. llama3:8b ~ Besoin d'environ 8 Go visible
- Je suis désolé. mistral:7b ~ Besoin d'environ 8 Go visible
- Je suis désolé. qwen:7b ~ Besoin d'environ 8 Go visible
- Je suis désolé. llama3:70b - Il faut environ 40 Go pour être visible.

Q3: Comment regardons-nous les modèles?

ollama list

Q4: Réponse lente?

Les taux de réponse des modèles locaux dépendent :
– Taille du modèle
– Visibilité/vitesse RAM
– Performance du processeur

Modèles quantifiés recommandés (bande) :q4_K_M Attendez.

Q5: OpenClaw ne peut pas trouver de modèle?

Veiller à ce que :
Ollama fonctionne :ollama serve
2. Le modèle configuré a été téléchargé :ollama list
3. BaseUrl Corrigé :http://localhost:11434/v1

Progrès: Commutation multimodèle

Configurer plusieurs replis :

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Donc, si lama3 n'est pas disponible, il passera automatiquement au modèle suivant.

Résumé

Grâce au déploiement local d'Ollama, vous pouvez :

• Zénium Économies: Total gratuit, aucune clé API
• Zénium Confidentialité: Données non disponibles localement
• Zénium Personnaliser: Libre choix du modèle
• Zénium Plus stable.: Ne dépend pas du réseau

Vas-y, essaie. Posez-moi des questions.

---

Faites-vous des amis, ajoutez-moi au groupe, et partagez des IA et des technologies de cybersécurité.