OpenClaw con Ollama despliegue local, super simple!

¿Sigues preocupado por el costo de llamar a un modelo de nube grande? ¿Todavía te preocupa la privacidad de los datos?

Te enseñaré cómo usarlo hoy. OpenClaw + Ollama ¡Crea un asistente de inteligencia artificial completamente localizado, todos los datos funcionando localmente, seguro y rentable!

¿Qué es Ollama?

Ollama es una herramienta para que ejecute modelos de idiomas grandes localmente. Soporta muchos modelos de código abierto como Llama 2, Llama 3, Mistral, Gemma, que se pueden ejecutar sin GPU.

Sitio oficial: https://ollama.com

Preparativos

1. Instalación de Ollama

MacOS/ Linux:

curl -fsSL https://ollama.com/install.sh | bash

Windows:
Vaya directamente a https://ollama.com para descargar el paquete de instalación

Descargar modelos

Después de la instalación, descargar el modelo que necesita:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Validación de la carrera de Ollama

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

¡Está bien!

Configuración OpenClaw

1. Encuentre el perfil

Perfil OpenClaw ~/.openclaw/openclaw.json

2. Añadir Ollama como costumbre

Añada lo siguiente al perfil:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Ejemplos de configuración completa

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. Reinicie OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Problemas comunes

P1: ¿Y la carga lenta?

La carga inicial del modelo será más lenta debido a la necesidad de descargar el archivo modelo. Puedes mantener a Ollama corriendo en el backstage, evitando todo reinicio.

# 让 Ollama 保持运行
nohup ollama serve &

Q2: ¿Y si no hay suficiente?

Seleccione el modelo de olor:
- Lo siento. llama3:8b - Necesito 8 GB visibles
- Lo siento. mistral:7b - Necesito 8 GB visibles
- Lo siento. qwen:7b - Necesito 8 GB visibles
- Lo siento. llama3:70b - Se necesitan unos 40 GB para ser visibles.

Q3: ¿Cómo miramos los modelos?

ollama list

Q4: Respuesta lenta?

Las tasas de respuesta de los modelos locales dependen de:
– Tamaño modelo
– Velocidad Visibilidad/RAM
– CPU Performance

Modelos cuantificados recomendados (banda) :q4_K_M Espera, espera, espera.

P5: OpenClaw no puede encontrar un modelo?

Asegurar que:
Ollama está corriendo:ollama serve
2. El modelo configurado se ha descargado:ollama list
3. Corrección de BaseUrl:http://localhost:11434/v1

Progreso: Interrupción multimodelo

Configure multiple fallbacks:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Así que si llama3 no está disponible, cambiará automáticamente al siguiente modelo.

Resumen

A través de la implementación local de Ollama, puede:

• Zenium Economías: Total libre, no API Key
• Zenium Privacidad: Datos no disponibles localmente
• Zenium Personalización: Libre elección del modelo
• Zenium Más estable.: No depende de la red

Adelante, intenta. Hazme cualquier pregunta.

---

Hacer amigos, añadirme al grupo, y compartir A.I. y tecnología de seguridad cibernética.