OpenClaw z Ollama lokalne rozmieszczenie, super proste!

Nadal martwisz się o koszt wywołania wielkiego modelu chmury? Nadal martwisz się o prywatność danych?

Nauczę cię, jak go dziś używać. OpenClaw + Ollama Utwórz w pełni zlokalizowany asystent AI, wszystkie dane działa lokalnie, bezpieczne i opłacalne!

Co to jest Ollama?

Ollama jest narzędziem do prowadzenia dużych modeli językowych lokalnie. Obsługuje wiele modeli open- source, takich jak Llama 2, Llama 3, Mistral, Gemma, które można uruchomić bez GPU.

Oficjalna strona internetowa: https: / / ollama.com

Preparaty

1. Instalacja Ollama

MacOS / Linux:

curl -fsSL https://ollama.com/install.sh | bash

Windows:
Idź prosto do https: / / ollama.com, aby pobrać pakiet instalacyjny

Pobieranie modeli

Po instalacji pobrać model, którego potrzebujesz:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Walidacja biegu Ollama

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Dobra!

Konfiguracja OpenClaw

1. Znajdź profil

Profil OpenClaw w ~/.openclaw/openclaw.json

2. Dodaj Ollamę jako Custom

Dodać do profilu:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Przykłady pełnej konfiguracji

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. Uruchom OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Wspólne problemy

P1: A co ze spowolnieniem ładowania?

Wstępne załadowanie modelu będzie wolniejsze ze względu na potrzebę pobrania pliku modelu. Ollama może biegać za kulisami, unikając ponownego startu.

# 让 Ollama 保持运行
nohup ollama serve &

P2: Co jeśli nie wystarczy?

Wybierz model huśtawki:
- Przepraszam. llama3:8b - Potrzeba około 8 GB widocznych
- Przepraszam. mistral:7b - Potrzeba około 8 GB widocznych
- Przepraszam. qwen:7b - Potrzeba około 8 GB widocznych
- Przepraszam. llama3:70b - Żeby być widocznym potrzeba około 40 GB.

P3: Jak patrzymy na modele?

ollama list

P4: Wolna odpowiedź?

Wskaźniki odpowiedzi modelu lokalnego zależą od:
- Rozmiar modelu
- Widoczność / prędkość RAM
- Wydajność procesora

Zalecane modele ilościowe (pasmo) :q4_K_M Czekaj, czekaj.

P5: OpenClaw nie może znaleźć modelu?

Zapewnienie, że:
Ollama biegnie:ollama serve
2. Konfigurowany model został pobrany:ollama list
3. BaseUrl Prawidłowe:http://localhost:11434/v1

Postępy: Multimodelowe przełączanie

Konfiguracja wielu awarii:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Jeśli więc llama3 nie jest dostępna, automatycznie przełączy się na następny model.

Streszczenie

Dzięki miejscowemu rozmieszczeniu Ollama możesz:

• Zen Oszczędności kosztów: Total free, no API Key
• Zen Prywatność: Dane niedostępne lokalnie
• Zen Dostosuj: Wolny wybór modelu
• Zen Bardziej stabilna.: Nie zależy od sieci

Spróbuj. Zadawaj mi pytania.

---

Zaprzyjaźnij się, dodaj mnie do grupy i podziel się technologią A.I. i cyberbezpieczeństwa.