日本語

← 一覧に戻る

OpenClaw、Ollamaのローカル展開と組み合わせて、超シンプル!

itadol5j

OpenClaw + オラマ

OpenClaw と Ollama ローカル展開、超シンプル!

ビッグクラウドモデルの呼び出しにかかる費用は不安ですか? データのプライバシーが心配ですか?

今日の使い方を教えます。 OpenClaw + オラマ 完全にローカライズされたAIアシスタント、ローカル、安全で費用対効果の高いすべてのデータを作成!

オラマとは?

Ollamaは、ローカルで大きな言語モデルを実行するためのツールです。 Llama 2、Llama 3、Mistral、GPUなしで実行できるGemmaなどの多くのオープンソースモデルをサポートしています。

公式サイト:https://ollama.com

準備

1. オラマの設置

MacOS/Linux:

curl -fsSL https://ollama.com/install.sh | bash

ウィンドウズ:
インストールパッケージをダウンロードするhttps://ollama.comに直接行きます

ダウンロードモデル

インストール後、必要なモデルをダウンロードしてください。

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. オラマランの検証

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

お問い合わせ

OpenClaw の設定

1. プロフィールを見つける

OpenClaw プロフィール ~/.openclaw/openclaw.json

2. Ollamaを習慣として加えて下さい

プロフィールに以下を追加します。

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. 全構成例

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. OpenClawを再起動する

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

一般的な問題

Q1:遅いローディングはどうですか。

モデルの初期ロードは、モデルファイルをダウンロードする必要があるため、遅くなります。 Ollama は、すべての再起動を避け、バックステージで実行されている状態を維持できます。

# 让 Ollama 保持运行
nohup ollama serve &

Q2:不十分な場合はどうなりますか?

臭いモデルを選択します。
申し訳ございません。 llama3:8b ～ 8GB 対応可
申し訳ございません。 mistral:7b ～ 8GB 対応可
申し訳ございません。 qwen:7b ～ 8GB 対応可
申し訳ございません。 llama3:70b ～40GB程度で見やすくなります。

Q3:モデルを見るにはどうすればよいですか?

ollama list

Q4:低応答?

ローカルモデル応答速度は以下に依存します。
– モデルサイズ
– 可視性/RAMの速度
– CPUのパフォーマンス

推奨モデル(バンド) :q4_K_M 待ってから、待ちます。

Q5: OpenClawはモデルが見つかりませんか?

それを確かめて下さい:
Ollama が実行中:ollama serve
2。 構成されたモデルはダウンロードされました:ollama list
3. BaseUrl の正しい:http://localhost:11434/v1

進行状況:マルチモデル切り替え

複数のフォールバックを設定する:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

なので、llama3が利用できない場合は、次のモデルに自動的に切り替えます。

インフォメーション

Ollama のローカル展開を通して、次のことができます:

  • ゼニウム コスト削減: 合計無料、APIキーなし
  • ゼニウム プロフィール: ローカルで利用できないデータ
  • ゼニウム カスタマイズ: モデルの自由選択
  • ゼニウム より安定した。: ネットワークに依存しない

先に進んでみてください。 お問い合わせ

OpenClaw、Ollamaのローカル展開と組み合わせて、超シンプル!

友達を作り、グループに追加し、A.I.とサイバーセキュリティ技術を共有します。