Português

← Voltar à lista

QwQ-32B grande modelo do Ali Open Source: Parâmetros pequenos pry grande desempenho, custo de treinamento 1/10 de DeepSeek r1

itadol5j

Muitas pessoas estão demitindo um Manus "inteligência geral" hoje, mas acho que o novo modelo QwQ-32B que Ali acabou de abrir vale ainda mais a pena procurar.

QwQ-32B grande modelo do Ali Open Source: Parâmetros pequenos pry grande desempenho, custo de treinamento 1/10 de DeepSeek r1

I. Principais avanços e inovação tecnológica na QwQ-32B

Aliyun lançou e abriu uma nova geração de modelos de raciocínio, QwQ-32B, em 6 de março de 2025, com vista a:32 mil milhões de parâmetrosÉ uma escala muito simples, obtida através de técnicas de aprendizagem melhoradasDeepSeek-R1 para 671 bilhões de parâmetrosDesempenho equivalente, mesmo em certas áreas. Os seguintes são seus principais destaques:

  1. Revolução da eficiência do parâmetro
    O parâmetro QwQ-32B é apenas DeepSeek-R11/21, mas atravésAprendizagem intensiva em duas fases (LR)A viabilidade da rota tecnológica “Small Model + Enhanced Learning” foi validada por meio de treinamento, que foi realizado sobre ou além desta última em tarefas como raciocínio matemático (AiME24 assessment) e geração de código (LiveCodeBench). Este design quebra o caminho da dependência tradicional no empilhamento de parâmetros e marca a mudança do modelo de IA de “competição em escala” para “otimização da eficiência”.
  2. Capacidade do agente para integração e raciocínio dinâmico
    Pela primeira vez, o modelo foi integrado profundamente no modelo de raciocínio.Capacidade de Agência Inteligente, ferramentas de apoio para mobilização, pensamento crítico e ajustes de raciocínio dinâmico impulsionados pelo feedback ambiental. Por exemplo, ao abordar questões matemáticas em várias etapas, o modelo automaticamente chama a ferramenta de computação para validar resultados intermediários e otimiza a resposta final através de ciclos de feedback. Esta capacidade torna-a mais flexível e fiável no tratamento de mandatos complexos.
  3. Implementação de baixo custo e aplicações inclusivas
    Suportes QwQ-32BCartões gráficos em escala de consumo (por exemplo, NVIDIA RTX 4070)Localmente implantado, apenas DeepSeek-R1 custo de dedução.1/10(O custo de produção único é de aproximadamente US$ 0,25), o que reduz significativamente o limiar para as aplicações empresariais. Esta característica é particularmente relevante para cenários sensíveis aos dados, como dispositivos de computação médica, financeira e periférica.
  4. Avanços tecnológicos para o aperfeiçoamento da aprendizagem
    A equipe Ali rejeitou o modelo de recompensa tradicional e o adotou.Estratégia de formação em fase RL:
    • Fase I: Para tarefas matemáticas e de programação, a exatidão da resposta é verificada diretamente através do código e a eficiência do treinamento é melhorada.
    • Fase II: Introdução de modelos de incentivo genéricos e certificados de regras para expandir as capacidades dos modelos em missões genéricas, mantendo o desempenho matemático e de programação. O estudo mostrou que as rodadas de treinamento de LR aumentaram o desempenho do modelo de atualização constante, que validou o método.

Comparação integrada dos modelos tradicionais

Compare QwQ-32B de múltiplas dimensões com outros modelos principais (DeepSeek-R1, OpenAI o1-Mini, Meta Llama3-400B):

Dimensões QwQ-32B DeepSeek-R1 OpenAI o1-mini Meta Llama3-400B
Argumentos 32 biliões de dólares. 671 mil milhões (activados 37 mil milhões) São cerca de 100 mil milhões. 40 mil milhões.
Métodos de formação Aprendizagem intensiva em duas fases (matemática/programação genérica) Modelo misto de peritos (MoE) Supervisão da aprendizagem Auto-retorno pré-treinamento + ajuste fino de comando
Capacidades críticas Raciocínio matemático, geração de código é o mesmo que R1. É um dos melhores. Mais tarefas comuns, matemática/código mais fraco Apoio multilingue para excelência, raciocínio moderado
Custos de implantação Cartões gráficos de nível de consumo a um custo de $0.25/kilotoken Profissão, custa $2.5/kilotoken Chamada de API em nuvem, maior custo. É necessário um cluster GPU high-end
Ecologia de código aberto Protocolo Apache 2.0, plataforma completa código aberto Código aberto parcial Fechado Comunidades de código aberto são ativas, com menos modelos derivados
Capacidade do agente Chamadas de ferramentas de suporte, ajustes de raciocínio dinâmico Nenhuma integração especificada Suporte limitado à ferramenta Nenhum

Teste de desempenho pontos brilhantes

  • Raciocínio matemático (AIME24): QwQ-32B é o mesmo que DeepSeek-R1 e significativamente superior a o1-mini.
  • Geração de código (LiveCodeBench): QwQ-32B é comparável a R1, excedendo o mesmo modelo de destilação de tamanho em mais de 50%.
  • LifeBech: QwQ-32B excede R1 (70) em 72,5 pontos, perto de o3-mini (75) a um custo de apenas 1/20.

Etapas detalhadas para implantar QwQ-32B usando olama

QwQ-32B grande modelo do Ali Open Source: Parâmetros pequenos pry grande desempenho, custo de treinamento 1/10 de DeepSeek r1

olama é uma ferramenta local para executar LLM. Os seguintes passos são para instalar e implantar QwQ-32B:

QwQ-32B grande modelo do Ali Open Source: Parâmetros pequenos pry grande desempenho, custo de treinamento 1/10 de DeepSeek r1
  1. Baixar
  2. Instalar olama:
    • Executa o executável para download para completar a instalação.
  3. Iniciar servidor olama:
    • Abrir terminal, executar comandos ollama serveNão sei.
  4. Desenhar modelos QwQ-32B:
    • Usar comando ollama pull QwQ:32b Baixe o modelo.
QwQ-32B grande modelo do Ali Open Source: Parâmetros pequenos pry grande desempenho, custo de treinamento 1/10 de DeepSeek r1
  1. Executar modelos:
    • Utilização ollama run QwQ:32b --input "你的提示" Interaja com modelos.

Ecologia de código aberto e impactos da comunidade

  1. Suporte a Código Aberto e Desenvolvedor
    QwQ-32B Código aberto do protocolo Apache 2.0, cobrindo plataformas como Hugging Face, ModelScope, Magic Community, etc.Cadeia de ferramentas de implantação local (por exemplo, Ollama)eServiço de API em nuvem (Plataforma)Não sei. Os desenvolvedores podem ajustar rapidamente modelos, avaliar e containerizar implantações (por exemplo, através da plataforma Aliyun PAI).
  2. A maior comunidade de modelos de código aberto do mundo
    Desde 2023, mais de 200 modelos foram abertos em Ali, abrangendo todas as formas modulares de texto, visão, voz, etc., variando de 0,5B a 110B. O número de modelos derivativos da série Qwen ultrapassou 100.000, indo além da série Llama para o maior cluster de modelos de código aberto globalmente. Por exemplo, o modelo de geração visual "one-size-fits-all" e o código "código periférico" foram amplamente integrados na paisagem industrial.
  3. Resposta comunitária e valor empresarial
    No mesmo dia, o preço das ações da Ali aumentou 7 por cento ao dia, refletindo a confiança do mercado de capitais nos desembarques tecnológicos. A estratégia de código aberto promove a prosperidade ecológica dos desenvolvedores, com quedas rápidas do QwQ-32B na comunidade Hugging Face, com aplicações derivadas cobrindo áreas como educação, finanças e saúde.

IV. Implicações sectoriais e perspectivas futuras

  1. Mudança de paradigma técnica
    O sucesso do QwQ-32B é evidência de que a IA R & D está se movendo de um “mistured milagry” para uma “exact sabio”, que o tamanho do parâmetro não é mais o único indicador, e que a otimização de algoritmos e métodos de treinamento é o novo foco. Por exemplo, o reavivamento da aprendizagem melhorada fornece novas ideias para o caminho AGI.
  2. A exploração da inteligência e do raciocínio a longo prazo
    Ali planeja integrar ainda mais as capacidades de inteligência e explorarRaciocínio a longo prazoPor exemplo, questões complexas de planejamento são abordadas em várias rodadas de ambientes. Isso facilitará a evolução da IA de “ferramentas” para “parceiros colaborativos”.
  3. Concorrência de código aberto e tendências inclusivas
    A quantificação leve e a capacidade de implantação de baixo custo do modelo acelera a inclusão tecnológica de IA, e as PME podem construir um programa personalizado baseado no QwQ-32B rapidamente para quebrar o monopólio dos megacálculos. Por exemplo, modelos implantados localmente na área médica podem lidar com dados sensíveis do paciente sem ter que depender de nuvens.

Observações finais

O lançamento do QwQ-32B não é apenas um avanço tecnológico, mas uma inovação abrangente em modelos ecológicos e de negócios de código aberto. Ele alcança um salto em frente no desempenho de modelos de pequenos parâmetros, melhorando a integração de organismos de aprendizagem e inteligência; e re-engenhou o padrão competitivo de aplicações de IA através da fonte completa e implantação de baixo custo. No futuro, o modelo será um marco fundamental para avançar o processo AGI com o desembarque de US$ 380 bilhões de insumos de infraestrutura de IA.