ओलामा स्थानीय तैनाती के साथ ओपनक्लाव, सुपर सरल!

क्या आप अभी भी एक बड़ा क्लाउड मॉडल बुलाने की लागत के बारे में चिंतित हैं? फिर भी डेटा गोपनीयता के बारे में चिंतित?

मैं आपको सिखाऊंगा कि आज इसका उपयोग कैसे किया जाए। OpenClaw + Ollama पूरी तरह से स्थानीयकृत एआई सहायक बनाएं, सभी डेटा स्थानीय रूप से सुरक्षित और लागत प्रभावी चल रहा है!

ओलमा क्या है?

ओलामा आपके लिए स्थानीय रूप से बड़ी भाषा मॉडल चलाने का एक उपकरण है। यह कई ओपन-सोर्स मॉडल जैसे लमा 2, लमा 3, मिस्ट्रल, जेमा का समर्थन करता है, जिसे जीपीयू के बिना चलाया जा सकता है।

आधिकारिक वेबसाइट: https://ollama.com

तैयारी

1. ओलमा की स्थापना

MacOS / Linux:

curl -fsSL https://ollama.com/install.sh | bash

विंडोज:
स्थापना पैकेज डाउनलोड करने के लिए सीधे https://ollama.com पर जाएं

डाउनलोड मॉडल

स्थापना के बाद, आपको आवश्यक मॉडल डाउनलोड करें:

# 推荐：下载 Llama 3（8B 参数，一般配置够用）
ollama pull llama3

# 或者下载 Mistral（性能不错）
ollama pull mistral

# 配置低的可以选 qwen（阿里开源，中文效果好）
ollama pull qwen:7b

3. ओलमा रन का सत्यापन

# 启动 Ollama 服务（一般安装后自动启动）
ollama serve

# 测试模型
ollama run llama3

नमस्ते!

OpenClaw विन्यास

1. प्रोफ़ाइल खोजें

OpenClaw प्रोफ़ाइल in ~/.openclaw/openclaw.json

2. कस्टम के रूप में Ollama जोड़ें

प्रोफ़ाइल में निम्नलिखित जोड़ें:

{
  models: {
    providers: {
      ollama: {
        type: "openai",  // Ollama 兼容 OpenAI API
        baseUrl: "http://localhost:11434/v1",
        api: "key",
        defaultHeaders: {
          "Content-Type": "application/json"
        }
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3"
      },
      models: {
        "ollama/llama3": {
          // 支持的参数
        },
        "ollama/mistral": {},
        "ollama/qwen:7b": {}
      }
    }
  }
}

3. पूर्ण विन्यास के उदाहरण

{
  models: {
    providers: {
      ollama: {
        type: "openai",
        baseUrl: "http://localhost:11434/v1"
      }
    }
  },
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/mistral"]
      },
      models: {
        "ollama/llama3": {
          description: "Meta Llama 3, 8B 参数"
        },
        "ollama/mistral": {
          description: "Mistral 7B, 性能强劲"
        },
        "ollama/qwen:7b": {
          description: "阿里 Qwen 7B, 中文效果好"
        }
      }
    }
  }
}

4. ओपनक्लॉ शुरू करें

# 重启 Gateway
openclaw gateway restart

# 查看模型状态
openclaw models status

आम समस्या

Q1: धीमी गति से लोड के बारे में क्या?

मॉडल की प्रारंभिक लोडिंग मॉडल फ़ाइल डाउनलोड करने की आवश्यकता के कारण धीमी होगी। आप ओलमा को बैकस्टेज में चल सकते हैं, हर बार फिर से शुरू होने से बच सकते हैं।

# 让 Ollama 保持运行
nohup ollama serve &

Q2: क्या होगा?

गंधक मॉडल चुनें:
- मुझे माफ़ी है। llama3:8b ~ 8GB दृश्यमान की आवश्यकता
- मुझे माफ़ी है। mistral:7b ~ 8GB दृश्यमान की आवश्यकता
- मुझे माफ़ी है। qwen:7b ~ 8GB दृश्यमान की आवश्यकता
- मुझे माफ़ी है। llama3:70b ~ यह लगभग 40 जीबी दिखाई देता है।

Q3: हम कैसे मॉडल को देखते हैं?

ollama list

Q4: धीमी प्रतिक्रिया?

स्थानीय मॉडल प्रतिक्रिया दर पर निर्भर करती है:
- मॉडल आकार
- दृश्यता / राम गति
सीपीयू प्रदर्शन

योग्य मॉडल की सिफारिश की (बैंड) :q4_K_M प्रतीक्षा करें, प्रतीक्षा करें।

Q5: OpenClaw को मॉडल नहीं मिला?

सुनिश्चित करें कि:
ओलमा चल रहा है:ollama serve
2. कॉन्फ़िगर किया गया मॉडल डाउनलोड किया गया है:ollama list
3. बेसयूआरएल Correct:http://localhost:11434/v1

प्रगति: मल्टीमॉडल स्विचिंग

एकाधिक गिरावट को कॉन्फ़िगर करें:

{
  agents: {
    defaults: {
      model: {
        primary: "ollama/llama3",
        fallbacks: ["ollama/qwen:7b", "ollama/mistral"]
      }
    }
  }
}

तो अगर llama3 उपलब्ध नहीं है, तो यह स्वचालित रूप से अगले मॉडल पर स्विच करेगा।

सारांश

ओलामा स्थानीय तैनाती के माध्यम से, आप कर सकते हैं:

• जेनियम लागत बचत: कुल मुक्त, कोई एपीआई कुंजी नहीं
• जेनियम गोपनीयतास्थानीय रूप से उपलब्ध नहीं है
• जेनियम अनुकूलन: मॉडल का नि: शुल्क विकल्प
• जेनियम स्थिर: नेटवर्क पर निर्भर नहीं

आगे बढ़ें और कोशिश करें। मुझे किसी भी सवाल पूछो।

---

दोस्तों को बनाएं, मुझे समूह में जोड़ें और A.I. और साइबर सुरक्षा प्रौद्योगिकी साझा करें।