Français

← Retour à la liste

QwQ-32B grand modèle de l'Ali Open Source: petits paramètres pry grande performance, coût d'entraînement 1/10 de DeepSeek r1

itadol5j

Beaucoup de gens tirent un Manus "renseignement général" aujourd'hui, mais je pense que le nouveau modèle QwQ-32B qu'Ali vient d'ouvrir vaut encore plus la peine de chercher.

QwQ-32B grand modèle de l'Ali Open Source: petits paramètres pry grande performance, coût d'entraînement 1/10 de DeepSeek r1

I. Principales percées et innovation technologique au QwQ-32B

Aliyun a publié et ouvert une nouvelle génération de modèles de raisonnement, QwQ-32B, le 6 mars 2025, en vue de :32 milliards de paramètresC'est une échelle très simple, réalisée grâce à des techniques d'apprentissage amélioréesDeepSeek-R1 pour 671 milliards de paramètresPerformance équivalente, même dans certains domaines. Ses principaux points saillants sont les suivants:

  1. Révolution d'efficacité du paramètre
    Le paramètre QwQ-32B est uniquement DeepSeek-R11/21, mais parApprentissage intensif en deux étapes (RL)La faisabilité de l'itinéraire technologique « Petit modèle + apprentissage amélioré » a été validée par la formation, qui a été effectuée sur ou au-delà de cette dernière dans des tâches telles que le raisonnement mathématique (évaluation AIME24) et la génération de code (LiveCodeBench). Cette conception rompt le chemin de la dépendance traditionnelle à l'empilement des paramètres et marque le déplacement du modèle AI de la concurrence à l'échelle de l'optimisation de l'efficacité.
  2. Capacité de l'agent pour l'intégration et le raisonnement dynamique
    Pour la première fois, le modèle a été intégré profondément dans le modèle de raisonnement.Capacité de l'Agence intelligente, des outils de soutien à la mobilisation, à la pensée critique et aux ajustements dynamiques du raisonnement motivés par la rétroaction environnementale. Par exemple, en abordant des questions mathématiques en plusieurs étapes, le modèle appelle automatiquement l'outil informatique pour valider les résultats intermédiaires et optimiser la réponse finale par des cycles de rétroaction. Cette capacité le rend plus souple et plus fiable dans le traitement des mandats complexes.
  3. Déploiement à faible coût et applications inclusives
    Prise en charge de QwQ-32BCartes graphiques grand public (par exemple NVIDIA RTX 4070)Déploiement local, seul coût de déduction de DeepSeek-R1.1/10(Le coût unitaire de la production est d'environ 0,25 dollar des États-Unis, ce qui réduit considérablement le seuil pour les applications des entreprises. Cette caractéristique est particulièrement pertinente pour les scénarios sensibles aux données tels que les appareils médicaux, financiers et informatiques périphériques.
  4. Les percées technologiques pour améliorer l'apprentissage
    L'équipe Ali a rejeté le modèle de récompense traditionnel et l'a adopté.Stratégie de formation progressive en RL:
    • Phase I: Pour les tâches mathématiques et de programmation, l'exactitude de la réponse est vérifiée directement via le code et l'efficacité de la formation est améliorée.
    • Phase II: Introduction de modèles d'incitation génériques et de certificateurs de règles pour développer les capacités des modèles dans les missions génériques tout en maintenant les performances mathématiques et programmatiques. L'étude a montré que les cycles de formation RL ont augmenté le rendement du modèle de mise à niveau constante, qui a validé la méthode.

Comparaison intégrée des modèles généraux

Comparer QwQ-32B à partir de plusieurs dimensions avec d'autres modèles traditionnels (DeepSeek-R1, OpenAI o1-Mini, Meta Llama3-400B):

Dimensions QwQ-32B Seek-R1 OpenAI o1-mini Méta Llama3-400B
Arguments 32 milliards de dollars. 671 milliards (activés 37 milliards) C'est une centaine de milliards. 40 milliards.
Méthodes de formation Apprentissage intensif en deux étapes (mathématique/programmation générique) Modèle mixte d ' experts (MoE) Supervision de l'apprentissage Auto-retour pré-entraînement + commande réglage fin
Capacités critiques Le raisonnement mathématique, la génération de code est la même que R1. C'est un des meilleurs. Tâches plus courantes, maths/codes plus faibles Soutien multilingue à l'excellence, raisonnement modéré
Frais de déploiement Cartes graphiques de qualité consommateur au coût de 0,25 $/kilotoken Profession, coût 2,5/kilotoken Appel API Cloud, coût plus élevé. Cluster GPU haut de gamme requis
Écologie libre Protocole Apache 2.0, plate-forme complète open source Source ouverte partielle Fermé Les communautés open-source sont actives, avec moins de modèles dérivés
Capacité des agents Appels d'outils de soutien, ajustements dynamiques du raisonnement Aucune intégration spécifiée Support d'outils limité Aucune

Points lumineux des essais de performance

  • raisonnement mathématique (AIME24): QwQ-32B est le même que DeepSeek-R1 et significativement supérieur à o1-mini.
  • Génération de code (LiveCodeBench): QwQ-32B est comparable à R1, dépassant de plus de 50% le modèle de distillation de même taille.
  • LifeBech: QwQ-32B dépasse R1 (70) de 72,5 points, près de o3-mini (75) au coût de seulement 1/20.

Étapes détaillées pour déployer QwQ-32B en utilisant olama

QwQ-32B grand modèle de l'Ali Open Source: petits paramètres pry grande performance, coût d'entraînement 1/10 de DeepSeek r1

olama est un outil local pour exécuter LLM. Voici les étapes pour installer et déployer QwQ-32B:

QwQ-32B grand modèle de l'Ali Open Source: petits paramètres pry grande performance, coût d'entraînement 1/10 de DeepSeek r1
  1. Télécharger
  2. Installer olama :
    • Exécute l'exécutable téléchargeable pour terminer l'installation.
  3. Démarrer le serveur olama :
    • Ouvrir le terminal, exécuter les commandes ollama serveJe ne sais pas.
  4. Dessiner les modèles QwQ-32B :
    • Utiliser la commande ollama pull QwQ:32b Téléchargez le modèle.
QwQ-32B grand modèle de l'Ali Open Source: petits paramètres pry grande performance, coût d'entraînement 1/10 de DeepSeek r1
  1. Lancer les modèles & #160;:
    • Utilisation ollama run QwQ:32b --input "你的提示" Interagir avec les modèles.

Écologie libre et impacts communautaires

  1. Tout le support Open Source et développeur
    QwQ-32B Open Source du protocole Apache 2.0, couvrant des plateformes telles que Hugging Face, ModelScope, Magic Community, etc.Chaîne d'outils de déploiement local (par exemple Ollama)etService API Cloud (Platform)Je ne sais pas. Les développeurs peuvent rapidement affiner les modèles, évaluer et conteneuriser les déploiements (par exemple via la plateforme Aliyun PAI).
  2. La plus grande communauté de modèles open source au monde
    Depuis 2023, plus de 200 modèles ont été ouverts dans Ali, couvrant toutes les formes modulaires de texte, de vision, de voix, etc., allant de 0,5B à 110B. Le nombre de modèles dérivés de la série Qwen a dépassé 100 000, dépassant la série Llama pour devenir le plus grand cluster mondial de modèles open source. Par exemple, le modèle de génération visuelle "one-size-fits-all" et le modèle de code "peripheric code" ont été largement intégrés dans le paysage industriel.
  3. Réponse de la Communauté et valeur commerciale
    Le même jour, le prix du stock Ali a augmenté de 7 % par jour, reflétant la confiance du marché des capitaux dans les débarquements technologiques. La stratégie open source favorise la prospérité écologique des promoteurs, avec des baisses rapides de QwQ-32B dans la communauté Hugging Face, avec des applications dérivées couvrant des domaines tels que l'éducation, la finance et la santé.

IV. Incidences sectorielles et perspectives d'avenir

  1. Changement de paradigme technique
    Le succès de QwQ-32B est la preuve que la R & D AI passe d'un miracle mixte à une sagesse exacte, que la taille des paramètres n'est plus le seul indicateur, et que l'optimisation des algorithmes et des méthodes d'entraînement est la nouvelle orientation. Par exemple, la relance de l'apprentissage amélioré fournit de nouvelles idées pour le chemin AGI.
  2. L'exploration du renseignement et le raisonnement à long terme
    Ali prévoit d'intégrer davantage les capacités de renseignement et d'explorerRaisonnement à long termePar exemple, les questions complexes de planification sont abordées dans plusieurs cycles d'environnements. Cela facilitera l'évolution de l'IA de l'outil à la collaboration des partenaires.
  3. Concurrence ouverte et tendances inclusives
    La capacité de quantification de la lumière et de déploiement à faible coût du modèle accélère l'inclusion technologique de l'IA, et les PME peuvent construire un programme personnalisé basé sur QwQ-32B rapidement pour briser le monopole des mégacalculs. Par exemple, les modèles déployés localement dans le domaine médical peuvent traiter les données sensibles des patients sans avoir à compter sur les nuages.

Remarques finales

La publication de QwQ-32B n'est pas seulement une percée technologique, mais une innovation complète dans les modèles écologiques et commerciaux open source. Il réalise un bond en avant dans la performance des modèles à petits paramètres en améliorant l'intégration des organismes d'apprentissage et de renseignement; et remodelé le modèle concurrentiel des applications d'IA grâce à des déploiements à source complète et à faible coût. À l'avenir, le modèle constituera une étape clé dans la progression du processus d'AGI avec l'atterrissage de l'intrant infrastructure d'IA de 380 milliards de dollars.