Buksan ang batas sa Ollama lokal na paglalagay, napakasimple!

Ikaw ba ay nag - aalala pa rin tungkol sa halaga ng pagtawag sa isang malaking modelo ng ulap? Nag - aalala pa rin tungkol sa pribadong impormasyon?

Tuturuan kita kung paano ito gagamitin ngayon. Buksan ang Batas + Ollama Gumawa ng isang ganap na lokalisadong AI assistant, lahat ng datos na tumatakbo sa lokal, ligtas at may halaga-sa-productive!

Ano ang Ollama?

Ollama ay isang kasangkapan para sa iyo upang magpatakbo ng malalaking modelo sa wika sa inyong lugar. Ito ay sumusuporta sa maraming open-source model tulad ng Llama 2, Llama 3, Mistral, Gemma, na maaaring patakbuhin nang walang GPU.

Opisyal na website: https://olatid.com

Paghahanda

1. Pagkaluklok ng Ollama

MacOS/ Linux:

curl -fsSL https://ollama.com/install.sh | bash

Windows:
Pumunta ng tuwid sa https://olatid.com upang i-download ang installing pakete

Mga modelo ng download

Pagkatapos ng pagluklok, i - download ang modelong kailangan mo:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. Tumatakbo ang awtoridad ng Ollama

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

Okay!

Pagsang - ayon ng OpenClaw

1. Hanapin ang Larawan

Larawan ng OpenClaw sa ~/.openclaw/openclaw.json

2. Idagdag ang Ollama Bilang Kaugalian

Idagdag ang sumusunod:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. Mga halimbawa ng lubusang pagsasaayos

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4.Estat OpenClaw

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

Karaniwang mga problema

Q1: Kumusta naman ang mabagal na pagkarga?

Ang paunang pagkarga ng modelo ay magiging mas mabagal dahil sa pangangailangang i-download ang model file. Maaari mong panatilihing tumatakbo si Ollama sa likod ng entablado, anupat iniiwasan ang bawat pag - uulit.

# 让 Ollama 保持运行
nohup ollama serve &

Q2: Paano kung hindi pa sapat?

Pumili ng modelong pangamoy:
– Ikinalulungkot ko. llama3:8b ~ Pangangailangan mga 8GB ang Nakikita
– Ikinalulungkot ko. mistral:7b ~ Pangangailangan mga 8GB ang Nakikita
– Ikinalulungkot ko. qwen:7b ~ Pangangailangan mga 8GB ang Nakikita
– Ikinalulungkot ko. llama3:70b ~ Nangangailangan ng mga 40 GB upang makita.

Q3: Paano natin minamalas ang mga modelo?

ollama list

Q4: Mabagal na pagtugon?

Ang lokal na bilis ng pagtugon ng modelo ay depende sa:
– Ang sukat ng modelo
– Nakikita/RAM speed
– Pagganap ng CPU

Inirerekomenda (banda) ang mga natatanging modelo :q4_K_M Maghintay, maghintay, maghintay.

Q5: Hindi makahanap ng modelo ang OpenClaw?

Tiyakin na:
Ang Ollama ay tumatakbo:ollama serve
2. Ang inayos na modelo ay na-download:ollama list
3. Pagtutuwid sa BaseUrl:http://localhost:11434/v1

Pagsulong: Pag - ikot ng multimodel

Maraming disbentaha:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

Kaya kung ang llama3 ay hindi magagamit, ito ay kusang babaling sa susunod na modelo.

Sumaryo

Sa pamamagitan ng ollama lokal na paglalagay, maaari mong gawin:

• Ang Zenium Halaga ng pera: Ganap na malaya, walang Susi ng API
• Ang Zenium Pribadong Buhay: Walang makukuhang impormasyon sa inyong lugar
• Ang Zenium Kaugalian: Malayang pagpili ng modelo
• Ang Zenium Mas matatag.: Hindi umaasa sa network

Sige, subukan niyo. Tanungin mo ako.

---

Makipagkaibigan, magdagdag sa grupo, at ibahagi ang A.I. at cyber security technology.