Use Unsloth para ajustar el modelo de DeepSeek desplegado localmente

Uso DeepSeek-r1-14b Modelo y pase Olama. Proceso completo de conversión de ajuste y formato para el despliegue:

---

I. Nuevos pasos de adaptación en formato Ollama

Conversión de formato modelo (PyTorch → GGUF)

# 安装转换工具
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make

# 合并LoRA权重到基础模型
python3 -m pip install peft
python3 <<EOF
from peft import PeftModel
from transformers import AutoModelForCausalLM, AutoTokenizer

base_model = AutoModelForCausalLM.from_pretrained(
    "deepseek-ai/deepseek-llm-14b-chat",
    torch_dtype=torch.float16,
    device_map="auto"
)
model = PeftModel.from_pretrained(base_model, "./custom_deepseek")
model = model.merge_and_unload()  # 合并LoRA权重

model.save_pretrained("./merged_model", safe_serialization=True)
tokenizer.save_pretrained("./merged_model")
EOF

# 转换为GGUF格式
python3 llama.cpp/convert.py ./merged_model \
  --outtype q4_k_m \          # 4-bit量化（平衡精度与效率）
  --outfile deepseek-14b-custom.Q4_K_M.gguf

2. Crear Ollama Modelfile

# Modelfile 示例
FROM ./deepseek-14b-custom.Q4_K_M.gguf
PARAMETER temperature 0.7
PARAMETER stop "[INST]"
PARAMETER stop "[/INST]"
SYSTEM """
你是一个经过专业训练的AI助手，专门为[企业名称]提供符合企业规范的响应。
响应需使用企业术语，并遵守安全准则。
"""

---

II. Modificación de los ajustes de los procesos de capacitación (adaptación de DeepSeek-14b)

1. Modificación del código de carga modelo

from unsloth import FastLanguageModel

# 加载14B模型（显存需求降低至24GB+）
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "deepseek-ai/deepseek-llm-14b-chat",  # 修改模型名称
    max_seq_length = 4096,
    dtype = torch.float16,        # 14B模型可用float16
    load_in_4bit = True,           # 显存不足时开启
    attn_implementation = "flash_attention_2",  # 强制启用Flash Attention
)

2. Ajuste de los parámetros de capacitación

# 因模型减小，可适当提升batch size
trainer_args = TrainingArguments(
    per_device_train_batch_size = 4,    # 原为2（32B模型）
    gradient_accumulation_steps = 2,    # 总batch_size=4*2=8
    learning_rate = 3e-5,               # 稍高于32B版本
    optim = "paged_adamw_8bit",         # 使用分页优化器
)

---

III. Ollama Deployment Validation

1. Modelo de despliegue local

ollama create my-deepseek -f Modelfile
ollama run my-deepseek
>>> [INST] 生成技术部门季度总结模板 [/INST]

2. Configuración de optimización de rendimiento

# 在Modelfile中添加GPU加速参数（需Ollama 0.1.15+）
PARAMETER num_gpu 4   # 指定GPU数量
PARAMETER numa      # 启用NUMA优化

---

Declaración de cambios fundamentales

Tema	Programa anterior 32B	Nuevo programa 14B+Ollama	Ventajas
Organisation	80GB+ (4 bits cuantificados)	24GB+ (4bit cuantificado)	Tarjeta única ejecutable
Velocidad de referencia	15 fichas/s (A100)	28 fichas/s (3090)	Aumento de la eficiencia del despliegue local
Precisión modelo	bfloat16	flotador16	Mejor compatibilidad.
Complejidad del despliegue	La interfaz de API debe ser sellada	Una línea de mando.	Simplifique el proceso de transporte

---

V. SOLUCIONES RELATIVAS A LAS CUESTIONES

1. Se produjo un error de dimensión al convertir GGUUF

# 检查权重合并是否正确
python3 llama.cpp/convert.py --verbose ...  # 显示详细转换日志

2. La respuesta de Ollama no cumplió las expectativas

# 在训练数据中添加格式强化样本：
{
  "instruction": "严格按照企业模板回复",
  "input": "用户问题内容",
  "output": "[企业标准开头]...[/企业标准结尾]"
}

Excesiva pérdida de precisión después de la cuantificación

# 尝试更高精度量化（需更多显存）
--outtype q6_k    # 6-bit量化
--outtype q8_0    # 8-bit量化

---

Con los ajustes anteriores, obtendrá uno:
• Reducción del 50% de la demanda aparente
Identificar el despliegue de Ollama
Modelo ligero para mantener la capacidad de personalización empresarial