Dansk

← Tilbage til listen

QwQ- 32B stor model af Ali Open Source: Små parametre pry stor ydeevne, uddannelse omkostninger 1 / 10 af DeepSeek r1

itadol5j

En masse mennesker affyrer en "generel intelligens" Manus i dag, men jeg tror den nye QwQ- 32B model, som Ali lige har åbnet er endnu mere værd at søge efter.

QwQ- 32B stor model af Ali Open Source: Små parametre pry stor ydeevne, uddannelse omkostninger 1 / 10 af DeepSeek r1

I. Kernegennembrud og teknologisk innovation i QwQ- 32B

Aliyun frigivet og åbnet en ny generation af ræsonnement modeller, QwQ- 32B, den 6. marts 2025, med henblik på at:32 milliarder parametreDet er en meget enkel skala, opnået gennem forbedrede indlæringsmetoderDeepSeek- R1 for 671 milliarder parametreTilsvarende ydeevne, selv på visse områder. Følgende er dens centrale højdepunkter:

  1. Parametervirkningsrevolution
    QwQ- 32B parameteren er kun DeepSeek- R11/21, men gennemTo-trins intensiv læring (RL)Gennemførligheden af "Small Model + Enhanced Learning" -teknologiruten blev valideret af uddannelse, som blev udført på eller uden for sidstnævnte i opgaver som matematiske ræsonnementer (AIME24 vurdering) og kodegenerering (LiveCodeBench). Dette design bryder vejen for traditionel afhængighed af stabling af parametre og markerer skiftet af AI-modellen fra "skala konkurrence" til "effektivitet optimering".
  2. Agent kapacitet til integration og dynamisk ræsonnement
    For første gang blev modellen integreret dybt i ræsonnemodellen.Intelligent agenturets kapacitet, støtteværktøjer til mobilisering, kritisk tænkning og dynamiske ræsonnement justeringer drevet af miljøfeedback. For eksempel, når man tager flere trin matematiske spørgsmål, modellen automatisk kalder computing værktøj til at validere mellemliggende resultater og optimerer det endelige svar gennem feedback cykler. Denne kapacitet gør den mere fleksibel og pålidelig i håndteringen af komplekse mandater.
  3. Nedsættelse af omkostninger og inkluderende applikationer
    QwQ- 32B-understøttelseGrafikkort i forbrugerskala (f.eks. NVIDIA RTX 4070)Lokalt placeret, kun DeepSeek- R1 fradrag.1/10(Den enkelte outputomkostninger er ca. US $0,25), som væsentligt sænker tærsklen for virksomhedens applikationer. Denne funktion er særlig relevant for datafølsomme scenarier såsom medicinske, finansielle og perifere computere.
  4. Teknologiske gennembrud for øget læring
    Ali-holdet afviste den traditionelle belønningsmodel og vedtog den.Faset RL træningsstrategi:
    • Fase I: For matematiske og programmering opgaver, rigtigheden af svaret kontrolleres direkte via koden og uddannelse effektivitet er forbedret.
    • Fase II: Introduktion af generiske incitamentsmodeller og rule- certificatorer til at udvide modellernes muligheder i generiske missioner, samtidig med at matematiske og programmering ydeevne. Undersøgelsen viste, at RL træningsrunder øgede ydeevnen af den konstante opgraderingsmodel, som validerede metoden.

Integreret sammenligning af mainstream-modeller

Sammenlign QwQ- 32B fra flere dimensioner med andre mainstream modeller (DeepSeek- R1, OpenAI o1- Mini, Meta Llama3- 400B):

Dimensioner QwQ- 32B DeepSeek- R1 OpenAI o1- mini Meta Llama3- 400B
Argumenter 32 milliarder dollars. 671 mia (aktiverede 37 mia) Det er omkring hundrede milliarder. 40 milliarder.
Uddannelsesmetoder Two-stage intensiv læring (matematik / programmering generiske) Blandet ekspertmodel (MoE) Tilsyn med læring Self-return pre- training + kommando fine- tuning
Kritiske kapaciteter Mathematisk ræsonnement, kode generation er den samme som R1. Det er en af de bedste. Mere almindelige opgaver, svagere matematik / kode Flersproget støtte til ekspertise, moderat ræsonnement
Implementeringsomkostninger Forbrugs- kvalitet grafikkort til en pris af $0,25 / kilotoken Erhverv, omkostninger $2,5 / kilotoken Cloud API opkald, højere omkostninger. Højdegående GPU-klynge påkrævet
Økologisk open source Apache 2.0 protokol, fuld platform open source Delvis open source Lukket Opensource samfund er aktive, med færre afledte modeller
Agent kapacitet Støtte værktøj opkald, dynamiske ræsonnement justeringer Ingen specificeret integration Begrænset værktøjssupport Ingen

Performance test lyse pletter

  • Matematisk ræsonnement (AIME24): QwQ- 32B er det samme som DeepSeek- R1 og væsentligt bedre end o1- mini.
  • Kodegenerering (LiveCodeBench): QwQ- 32B kan sammenlignes med R1, som overstiger samme destillationsmodel med mere end 50%.
  • LifeBech: QwQ- 32B overstiger R1 (70) med 72,5 point, tæt på o3- mini (75) til en pris af kun 1 / 20.

Detaljerede trin til at implementere QwQ- 32B ved hjælp af olama

QwQ- 32B stor model af Ali Open Source: Små parametre pry stor ydeevne, uddannelse omkostninger 1 / 10 af DeepSeek r1

olama er et lokalt værktøj til at køre LLM. Følgende er trin til at installere og implementere QwQ- 32B:

QwQ- 32B stor model af Ali Open Source: Små parametre pry stor ydeevne, uddannelse omkostninger 1 / 10 af DeepSeek r1
  1. Download
  2. Installer olama:
    • Kører den downloadede eksekverbar for at fuldføre installationen.
  3. Start olama server:
    • Åbn terminal, kør kommandoer ollama serveDet ved jeg ikke.
  4. Tegn QwQ- 32B modeller:
    • Brug kommando ollama pull QwQ:32b Download modellen.
QwQ- 32B stor model af Ali Open Source: Små parametre pry stor ydeevne, uddannelse omkostninger 1 / 10 af DeepSeek r1
  1. Kør modeller:
    • Anvendelse ollama run QwQ:32b --input "你的提示" Interagere med modeller.

Økologi og påvirkning af lokalsamfundet

  1. Alle Open Source og udvikler support
    QwQ- 32B Open Source of the Apache 2.0 protokol, der dækker platforme såsom Hugging Face, ModelScope, Magic Community, etc.Lokal implementeringsværktøjskæde (f.eks. Ollama)ogCloud API Service (Platform)Det ved jeg ikke. Udviklere kan hurtigt fine-tune modeller, evaluere og containerize installationer (f.eks. gennem Aliyun PAI platform).
  2. Verdens største open source-modelsamfund
    Siden 2023 har mere end 200 modeller været åbnet i Ali, der dækker all- modulære former for tekst, vision, stemme osv., spænder fra 0.5B til 110B. Antallet af Qwen serie afledte modeller har overskredet 100.000, bevæger sig ud over Llama serien til den største open source model klynge globalt. Eksempelvis er den visuelle generationsmodel "one-second-fits-all" og kodemodellen "periferic code" blevet bredt integreret i industrilandskabet.
  3. Fællesskabets reaktion og virksomhedsværdi
    Samme dag steg prisen på Ali-bestanden med 7% om dagen, hvilket afspejler kapitalmarkedets tillid til teknologilandinger. Den open source strategi fremmer den økologiske velstand for udviklere, med hurtige dråber af QwQ- 32B i Hugging Face samfund, med afledte applikationer, der dækker områder som uddannelse, finansiering og sundhed.

IV. Sektormæssige konsekvenser og fremtidsudsigter

  1. Teknisk paradigmeskift
    Succesen af QwQ- 32B er bevis på, at AI R & D bevæger sig fra et "blandet mirakel" til en "præcis visdom", at parameter størrelse er ikke længere den eneste indikator, og at optimering af algoritmer og træningsmetoder er det nye fokus. F.eks. giver genoplivningen af øget læring nye idéer til AGI-vejen.
  2. Udforskning af efterretninger og langsigtede ræsonnementer
    Ali har planer om yderligere at integrere efterretningskapaciteten og udforskeLangtidsræsonnementF.eks. behandles komplekse planlægningsspørgsmål i flere runder af miljøer. Dette vil lette udviklingen af AI fra "værktøjer" til "samarbejdspartnere".
  3. Open source-konkurrence og inklusiv udvikling
    Den lette kvantificering og lave omkostninger implementering kapacitet af modellen fremskynder den teknologiske inddragelse af AI, og SMV 'er kan opbygge et tilpasset program baseret på QwQ- 32B hurtigt at bryde megaberegninger monopol. For eksempel kan lokale modeller på det medicinske område håndtere følsomme patientdata uden at skulle stole på skyer.

Afsluttende bemærkninger

Udgivelsen af QwQ- 32B er ikke blot et teknologisk gennembrud, men en omfattende innovation i open source økologiske og forretningsmodeller. Det opnår et spring fremad i udførelsen af små-parameter modeller ved at øge integrationen af læring og intelligens organer, og rekonstrueret det konkurrenceprægede mønster af AI-applikationer gennem full-source og billige installationer. I fremtiden vil modellen være en vigtig milepæl i at flytte AGI processen fremad med landing af $380 milliarder AI infrastruktur input.