← Înapoi la listă

QwQ-32B model mare de Ali Open Source: parametri mici pry performance mare, costul de formare 1/10 de DeepSeek r1

itadol5j

O mulțime de oameni sunt de ardere un "inteligență generală" Manus astăzi, dar cred că noul model QwQ-32B pe care Ali tocmai a deschis este chiar mai merită căutat.

QwQ-32B model mare de Ali Open Source: parametri mici pry performance mare, costul de formare 1/10 de DeepSeek r1

I. Progrese de bază și inovare tehnologică în QwQ-32B

Aliyun a lansat și a deschis o nouă generație de modele de raționament, QwQ-32B, la 6 martie 2025, în vederea:32 de miliarde de parametriE o scară foarte simplă, realizată prin tehnici de învăţare îmbunătăţite.DeepSeek-R1 pentru 671 miliarde de parametriPerformanţe echivalente, chiar şi în anumite domenii. Acestea sunt principalele sale puncte de interes:

  1. Turația eficienței parametrilor
    Parametrul QwQ-32B este doar DeepSeek-R11/21, dar prinÎnvățare intensivă în două etape (RL)Fezabilitatea rutei tehnologice "Small Model + Enhanced Learning" a fost validată prin formare, care a fost efectuată pe sau în afara acesteia în sarcini precum raționamentul matematic (evaluarea AIME24) și generarea de coduri (LiveCodeBench). Acest design rupe calea de dependenţă tradiţională pe stivuirea de parametri şi marchează trecerea modelului AI de la concurenţa pe scară largă
  2. Capacitatea agentului de integrare și raționament dinamic
    Pentru prima dată, modelul a fost integrat adânc în modelul de raționament.Capacitatea agenției inteligente, instrumente de sprijin pentru mobilizarea, gândirea critică și ajustări dinamice de raționament bazate pe feedback-ul de mediu. De exemplu, în abordarea problemelor matematice în mai multe etape, modelul solicită automat instrumentul de calcul să valideze rezultatele intermediare și optimizează răspunsul final prin intermediul ciclurilor de feedback. Această capacitate îl face mai flexibil și mai fiabil în gestionarea mandatelor complexe.
  3. Implementarea la costuri reduse și aplicații incluzive
    Suporturi QwQ-32BCarduri grafice pentru consumatori (de exemplu NVIDIA RTX 4070)Aplicat local, doar DeepSeek-R1 costuri de deducere.1/10(costul unic de producție este de aproximativ 0,25 USD), ceea ce reduce semnificativ pragul pentru aplicațiile întreprinderilor. Această caracteristică este relevantă în special pentru scenariile sensibile la date, cum ar fi dispozitivele medicale, financiare și periferice de calcul.
  4. Progrese tehnologice pentru învăţarea îmbunătăţită
    Echipa Ali a respins modelul tradiţional de recompensă şi l-a adoptat.Strategie de formare în LR faze:
    • Faza I: Pentru sarcinile matematice și de programare, corectitudinea răspunsului este verificată direct prin codul și eficiența formării profesionale este îmbunătățită.
    • Faza II: Introducerea modelelor generice de stimulare și a certificatorilor de reguli pentru a extinde capacitățile modelelor în misiunile generice, menținând în același timp performanța matematică și de programare. Studiul a arătat că rundele de formare LR au crescut performanța modelului de actualizare constantă, care a validat metoda.

Compararea integrată a modelelor principale

Comparați QwQ-32B din mai multe dimensiuni cu alte modele principale (DeepSeek-R1, OpenAI o1-Mini, Meta Llama3-400B):

Dimensiuni QwQ-32B DeepSeek-R1 OpenAI o1-mini Meta Llama3-400B
Argumentele 32 de miliarde. 671 miliarde (activat 37 miliarde) E vorba de o sută de miliarde. 40 de miliarde.
Metode de formare Învățare intensivă în două etape (matematică/programare generică) Model mixt de expert (MoE) Supravegherea învăţării Autoretur pre-formare + reglaj fin comandă
Capacități critice Raționament matematic, generarea de coduri este aceeași cu R1. E una dintre cele mai bune. Sarcini mai comune, matematică mai slabă/cod Sprijin multilingv pentru excelență, raționament moderat
Costuri de desfășurare Carduri grafice de consum la un cost de 0.25 $/kilotoken Profesie, costa 2,5 dolari / kilotoken Cloud API apel, costuri mai mari. Cluster GPU de vârf necesar
Ecologie open source Protocolul Apache 2.0, platforma completă open source Sursă deschisă parțială Închis Comunităţile cu sursă deschisă sunt active, cu mai puţine modele derivate
Capacitatea agentului Solicitări de instrumente de sprijin, ajustări dinamice de raționament Nicio integrare specificată Suport pentru unelte limitat Niciuna

Încercarea de performanță a punctelor luminoase

  • Raționament matematic (AIME24): QwQ-32B este același cu DeepSeek-R1 și este semnificativ superior lui O1-mini.
  • Generare cod (LiveCodeBench): QwQ-32B este comparabil cu R1, depășind același model de distilare cu mai mult de 50%.
  • LifeBech: QwQ-32B depășește R1 (70) cu 72.5 puncte, aproape de O3-mini (75) la un cost de numai 1/20.

Etape detaliate pentru implementarea QwQ-32B folosind olama

QwQ-32B model mare de Ali Open Source: parametri mici pry performance mare, costul de formare 1/10 de DeepSeek r1

Olama este un instrument local pentru a rula LLM. Următoarele sunt pașii pentru instalarea și implementarea QwQ-32B:

QwQ-32B model mare de Ali Open Source: parametri mici pry performance mare, costul de formare 1/10 de DeepSeek r1
  1. Descărcare
  2. Instalează olama:
    • Rulează executabilul descărcabil pentru a finaliza instalarea.
  3. Start server olama:
    • Deschide terminalul, execută comenzile ollama serveNu ştiu.
  4. Desenează modele QwQ-32B:
    • Folosește comanda ollama pull QwQ:32b Descarcă modelul.
QwQ-32B model mare de Ali Open Source: parametri mici pry performance mare, costul de formare 1/10 de DeepSeek r1
  1. Rulează modele:
    • Utilizare ollama run QwQ:32b --input "你的提示" Interacţionează cu modelele.

Ecologie open source și impactul comunității

  1. Toate Open Source și Suport Dezvoltator
    QwQ-32B Open Source of the Apache 2.0, acopera platforme precum Hugging Face, ModelScope, Magic Community etc.Lanțul de unelte de implementare locală (de exemplu, Ollama)şiServiciul API în cloud (Platform)Nu ştiu. Dezvoltatorii pot rapid modele fine-tune, evalua și containeriza implementarea (de exemplu, prin platforma Aliyun PAI).
  2. Cea mai mare comunitate de modele open source din lume
    Din 2023, mai mult de 200 de modele au fost deschise în Ali, acoperind toate formele modulare de text, viziune, voce etc., variind de la 0,5B la 110B. Numărul modelelor derivate din seria Qwen a depăşit 100.000, trecând dincolo de seria Llama în cel mai mare grup de modele open source la nivel global. De exemplu, modelul de generare vizuală
  3. Răspunsul comunitar și valoarea comercială
    În aceeași zi, prețul stocului Ali a crescut cu 7% pe zi, reflectând încrederea pieței de capital în debarcările tehnologice. Strategia open source promovează prosperitatea ecologică a dezvoltatorilor, cu picături rapide de QwQ-32B în comunitatea Hugging Face, cu aplicații derivate care acoperă domenii precum educația, finanțele și sănătatea.

IV. Implicațiile sectoriale și perspectivele de viitor

  1. Schimbarea de paradigmă tehnică
    Succesul QwQ-32B este dovada că AI R & D se deplasează de la un miracol De exemplu, relansarea învățării îmbunătățite oferă idei noi pentru calea AGI.
  2. Explorarea inteligenţei şi raţionamentul pe termen lung
    Ali intenționează să integreze în continuare capacitățile de informații și să explorezeRaționament pe termen lungDe exemplu, problemele complexe de planificare sunt abordate în mai multe runde de medii. Acest lucru va facilita evoluţia AI de la parteneri colaboratori la parteneri colaboratori.
  3. Concurența cu surse deschise și tendințele favorabile incluziunii
    Cuantificarea ușoară și capacitatea de implementare la costuri reduse a modelului accelerează includerea tehnologică a AI, iar IMM-urile pot construi un program personalizat bazat pe QwQ-32B pentru a rupe rapid monopolul megacalculărilor. De exemplu, modelele utilizate la nivel local în domeniul medical pot trata datele sensibile ale pacienţilor fără a trebui să se bazeze pe nori.

Observații finale

Lansarea QwQ-32B nu este doar un progres tehnologic, ci și o inovație cuprinzătoare în modelele ecologice și de afaceri cu sursă deschisă. Aceasta realizează un salt înainte în ceea ce privește performanța modelelor de mici parametri prin consolidarea integrării organismelor de învățare și de informații; și a reproiectat modelul competitiv al aplicațiilor AI prin implementarea integrală și cu costuri reduse. În viitor, modelul va fi o piatră de hotar cheie pentru a avansa procesul AGI odată cu aterizarea intrarii infrastructurii AI în valoare de 380 miliarde de dolari.