Norsk

← Tilbake til listen

QwQ-32B stor modell av Ali Open Kilde: Små parametre pry stor ytelse, treningskostnader 1/10 av DeepSeek r1

itadol5j

Mange mennesker avfyrer en generell intelligens" Manus i dag, men jeg tror den nye QwQ-32B-modellen som Ali nettopp har åpnet er enda mer verdt å lete etter.

QwQ-32B stor modell av Ali Open Kilde: Små parametre pry stor ytelse, treningskostnader 1/10 av DeepSeek r1

I. Core gjennombrudd og teknologisk innovasjon i QwQ-32B

Aliyun utgitt og åpnet en ny generasjon resonnementmodeller, QwQ-32B, den 6. mars 2025, med sikte på å:32 milliarder parametreDet er en veldig enkel skala, oppnådd gjennom forbedrede læringsteknikkerDeepSeek-R1 for 671 milliarder parametereTilsvarende ytelse, selv i visse områder. Følgende er hovedpunkter:

  1. Parameters effektivitetsrevolusjon
    QwQ-32B parameteren er bare DeepSeek-R11/21Men gjennomTo-trinns intensiv læring (RL)Teknologiruten for \"Småmodell + Forbedret læring\" ble validert ved opplæring, som ble utført på eller utenfor sistnevnte i oppgaver som matematisk resonnement (AIME24 vurdering) og kodegenerasjon (LiveCodeBench). Denne utformingen bryter banen til tradisjonell tillit til stablet av parametre og markerer overgangen av AI-modellen fra \"skala konkurranse\" til \"effektivitet optimalisering\".
  2. Agentens kapasitet til integrasjon og dynamisk resonnement
    For første gang ble modellen integrert dypt i resonnementmodellen.Smartbyråets evne, støtteverktøy for mobilisering, kritisk tenkning og dynamiske resonnementjusteringer drevet av miljøreaksjoner. For eksempel, når det gjelder flertrinns matematiske problemer, kaller modellen automatisk dataverktøyet for å validere mellomproduktresultatene og optimalisere det endelige svaret gjennom tilbakemeldingssykluser. Denne kapasiteten gjør den mer fleksibel og pålitelig i håndteringen av komplekse mandater.
  3. Lavprisutplassering og inkluderende applikasjoner
    QwQ-32B støtterForbrukerskala grafiske kort (f.eks. NVIDIA RTX 4070)Lokalt utplassert, bare DeepSeek-R1 fradragskostnader.1/10(Single utgangskostnaden er ca. US$ 0,25), som signifikant senker terskelen for bedriftsapplikasjoner. Denne funksjonen er spesielt relevant for datasensitive scenarier som medisinske, finansielle og perifere datamaskiner.
  4. Teknologiske gjennombrudd for forbedret læring
    Ali-teamet avviste den tradisjonelle belønningsmodellen og adopterte den.Phased RL treningsstrategi:)
    • Fase IFor matematiske og programmeringsoppgaver blir riktigheten av svaret verifisert direkte via koden og opplæringseffektiviteten forbedret.
    • Fase IIIntroduksjon av generiske incitamentsmodeller og regelsettere for å utvide mulighetene til modeller i generiske oppdrag samtidig som matematisk og programmeringsytelse opprettholdes. Studien viste at RL treningsrunder økte ytelsen til den konstante oppgraderingsmodellen, som validerte metoden.

Integrert sammenligning av mainstream-modeller

Sammenlign QwQ-32B fra flere dimensjoner med andre mainstream modeller (DeepSeek-R1, OpenAI o1-Mini, Meta Llama3-400B):

Dimensjoner QwQ-32B DeepSeek-R1 OpenAI o1-mini Meta Llama3-400B
Argument 32 milliarder dollar. 671 milliarder (aktivert 37 milliarder) Det er rundt hundre milliarder. 40 milliarder.
Opplæringsmetoder To-trinns intensiv læring (matematikk/programmering generisk) Blandet ekspertmodell (MoE) Overvåkning av læring Selvvendende pre-trening + kommando finjustering
Kritiske evner Matematisk resonnement, kode generasjon er den samme som R1. Det er en av de beste. Flere vanlige oppgaver, svakere matte/kode Flerspråklig støtte til fortreffelighet, moderat resonnement
Avsetningskostnader Forbruker-klasse grafiske kort til en kostnad på $0.25/kiloken Yrke, kostnad $2.5/kiloken Sky API-samtale, høyere kostnader. Høyend GPU-hopen kreves
Open source økologi Apache 2.0 protokoll, full plattform åpen kildekode Delvis åpen kildekode Lukket Open-source-samfunn er aktive, med færre derivatmodeller
Agent kapasitet Støtteverktøysamtaler, dynamiske resonnementjusteringer Ingen spesifisert integrasjon Begrenset verktøystøtte Ingen

Performance test lyse steder

  • Matematisk resonnement (AIME24)QwQ-32B er det samme som DeepSeek-R1 og betydelig overlegen til o1-mini.
  • Kodegenerasjon (LiveCodeBench): QwQ-32B er sammenlignbar med R1, som overstiger samme størrelsesdestillasjonsmodell med mer enn 50%.
  • Lifebech: QwQ-32B overstiger R1 (70) med 72,5 poeng, nær o3-mini (75) til en kostnad på bare 1/20.

Detaljerte trinn for å distribuere QwQ-32B ved hjelp av olama

QwQ-32B stor modell av Ali Open Kilde: Små parametre pry stor ytelse, treningskostnader 1/10 av DeepSeek r1

Olama er et lokalt verktøy for å kjøre LLM. Følgende er trinn for å installere og distribuere QwQ-32B:

QwQ-32B stor modell av Ali Open Kilde: Små parametre pry stor ytelse, treningskostnader 1/10 av DeepSeek r1
  1. Last ned
  2. Installer olama:
    • Kjører nedlastbar kjørbar for å fullføre installasjonen.
  3. Start olama server:
    • Åpne terminal, kjør kommandoer ollama serveJeg vet ikke.
  4. Tegn QwQ-32B-modeller:
    • Bruk kommando ollama pull QwQ:32b Last ned modellen.
QwQ-32B stor modell av Ali Open Kilde: Små parametre pry stor ytelse, treningskostnader 1/10 av DeepSeek r1
  1. Kjør modeller:
    • Bruk ollama run QwQ:32b --input "你的提示" Interager med modeller.

Åpen kildeøkologi og samfunnspåvirkning

  1. Alle støtte for åpen kilde og utvikler
    QwQ-32B Åpne kilden til Apache 2.0 protokollen, som dekker plattformer som Hugging Face, ModelScope, Magic Community, etc.Lokal distribusjonsverktøykjede (f.eks. Ollama)ogSky API Service (Platform)Jeg vet ikke. Utviklere kan raskt finpune modeller, evaluere og containere distribusjoner (f.eks. gjennom Aliyun PAI-plattformen).
  2. Verdens største open source modell samfunn
    Siden 2023 har mer enn 200 modeller blitt åpnet i Ali, og dekker alle modulære former for tekst, syn, stemme etc., alt fra 0,5B til 110B. Antall Qwen-serie-derivatmodeller har overskredet 100 000, og beveger seg utover Llama-serien til den største open source-modellhopen globalt. For eksempel har den visuelle generasjonsmodellen \"one-size-fits-all\" og kodemodellen \"periferisk kode\" blitt bredt integrert i det industrielle landskapet.
  3. Samfunnsrespons og forretningsverdi
    På samme dag steg prisen på Ali aksjer med 7 prosent om dagen, noe som reflekterer tilliten til kapitalmarkedet i teknologi landinger. Strategien for åpen kildekode fremmer den økologiske velstanden til utviklere, med raske dråper QwQ-32B i Hugging Face-samfunnet, med derivatapplikasjoner som dekker områder som utdanning, finans og helse.

IV. Sektorens konsekvenser og fremtidsutsikter

  1. Teknisk paradigmeskift
    Suksessen til QwQ-32B er bevis på at AI R & D beveger seg fra et “blandet mirakel” til en “eksakt visdom”, at parameterstørrelse ikke lenger er den eneste indikatoren, og at optimalisering av algoritmer og treningsmetoder er det nye fokuset. For eksempel gir vekkelse av forbedret læring nye ideer for AGI-veien.
  2. Utforskning av intelligens og langsiktig resonnement
    Ali planlegger å integrere intelligens evner og utforskeLangvarig resonnementFor eksempel håndteres komplekse planleggingsproblemer i flere miljørunder. Dette vil lette utviklingen av AI fra \"verktøy\" til \"samarbeidspartnere\".
  3. Åpen kildekode konkurranse og inkluderende trender
    Den lette kvantifiserings- og lavprisutplasseringskapasiteten til modellen akselererer den teknologiske inkluderingen av AI, og de fleste kan bygge opp et tilpasset program basert på QwQ-32B raskt for å bryte megaberegningsmonopolet. For eksempel kan lokalt brukte modeller i det medisinske feltet håndtere sensitive pasientdata uten å måtte stole på skyer.

Inkluderende kommentarer

Utgivelsen av QwQ-32B er ikke bare et teknologisk gjennombrudd, men en omfattende innovasjon i open-source økologiske og forretningsmodeller. Det oppnår et sprang fremover i ytelsen til småparametermodeller ved å forbedre integrasjonen av lærings- og etterretningsorganer; og re-engineere konkurransedyktig mønsteret til AI-applikasjoner gjennom fullkilde- og lavprisutdelinger. I fremtiden vil modellen være en viktig milepæl i å flytte AGI-prosessen fremover med landing av 380 milliarder dollar AI-infrastrukturen.