Filipino

← Bumalik sa listahan

QwQ-32B malaking modelo ng Ali Open Source: Small Parameters nanghihimasok sa malaking pagganap, pagsasanay gastos 1/10 ng Deep search r1

itadol5j

Maraming tao ang nagpapaputok ng "general intelligence" na si Manus ngayon, ngunit sa tingin ko ang bagong modelong QwQ-32B na kabubukas lamang ni Ali ay mas sulit na hanapin.

QwQ-32B malaking modelo ng Ali Open Source: Small Parameters nanghihimasok sa malaking pagganap, pagsasanay gastos 1/10 ng Deep search r1

I. Mga pagsulong sa Core at teknolohikal na pagbabago sa QwQ-32B

Inilabas at binuksan ni Aliyun ang isang bagong henerasyon ng pangangatwirang modelo, ang QwQ-32B, noong Marso 6, 2025, na may layuning:32 bilyong parameterNapakasimpleng sukatan nito, na natatamo sa pamamagitan ng mas mahusay na mga pamamaraan sa pagkatutoMatinding Paghahanap-R1 para sa 671 bilyong parameterEquivalent performance, kahit sa ilang lugar. Ang sumusunod ay mga tampok na bahagi nito:

  1. Napakalaking pagbabago sa kahusayan
    Ang QwQ-32B parameter ay Deep Search-R1 lamang1/21, ngunit hanggangDalawang-stage intensive learning (RL)Ang pagiging feassibilidad ng “Small Model + Enhanced Learning”ang ruta ng teknolohiya ay pinagtibay sa pamamagitan ng pagsasanay, na isinagawa sa o lampas pa sa huli sa mga gawain tulad ng matematikal na pangangatwiran (AIME24 pagtatasa) at henerasyon ng code (LiveCodeBench). Ang disenyong ito ay nagreresulta sa landas ng tradisyonal na pag-asa sa pagsasalansan ng mga parameter at nagmamarka sa paglipat ng modelong AI mula sa “scale kompetensiya”i” hanggang “effeffiencyiencyiizationiizationiizationiization.
  2. Ang kakayahan ng Agent para sa pagsasama - sama at dinamikong pangangatuwiran
    Sa kauna - unahang pagkakataon, ang modelo ay inilakip nang malalim sa makatuwirang modelo.Kakayahan ng Matalinong Ahensiya, umaalalay na mga kasangkapan para sa pagbabago, kritikal na pag - iisip at dinamikong pangangatuwiran na udyok ng impormasyong pangkapaligiran. Halimbawa, sa pagtalakay sa multi-steep na mga isyung matematikal, awtomatikong tinatawag ng modelo ang kompyuter na kasangkapan upang patunayan ang panggitnang mga resulta at maging optimikong makatwiran sa pamamagitan ng mga siklong feedback. Ang kakayahang ito ay gumagawa ritong mas madaling makibagay at maaasahan sa paghawak ng masalimuot na mga utos.
  3. Mababang-kost na paggamit at mga gamit sa pamamahagi
    Mga suporta ng QwQ-32BMiner scale graphic cards (hal. NVIDIA RTX 4070)lokal na ginagamit, tanging ang Deep search-R1 na halaga ng pagbabawas.1/10( Ang nag - iisang halaga ng output ay humigit - kumulang US$ 0.25), na lubhang nagpapababa sa hangganan para sa mga aplikasyon sa negosyo. Ang tampok na ito ay partikular na may kaugnayan sa mga data-sensitive na senaryo tulad ng mga aparatong pangmedisina, pananalapi, at peripheral computing.
  4. Mga pagsulong sa teknolohiya para sa higit pang pagkatuto
    Tinanggihan ng pangkat na Ali ang tradisyonal na modelo ng gantimpala at sinunod ito.Phased RL training strategy:
    • Phase I: Para sa mga gawain sa matematika at programa, ang pagiging tama ng sagot ay pinatutunayan nang tuwiran sa pamamagitan ng kodigo at kahusayan sa pagsasanay.
    • Phase II: Introduction of generic insentibo mga modelo at mga cructor-certifier upang palawakin ang mga kakayahan ng mga modelo sa mga misyong generic samantalang pinananatili ang paggawa ng matematika at programming. Ipinakita ng pag-aaral na ang RL training rounds ay nagreresulta sa pagganap ng patuloy na modelong pang-upgrade, na nagbigay bisa sa pamamaraan.

Di - makatuwirang paghahambing sa pangunahing mga modelo

Ihambing ang QwQ-32B mula sa multiple dimensiyon sa iba pang mga pangunahing modelo (Deep search-R1, OpenAI o1-Mini, Meta Llama3-400B):

Dimensiyon QwQ-32B Matinding Paghahanap-R1 OpenAI o1-mini Meta Llama3-400B
Mga Argumento $32 bilyon. 671 bilyon (aktivated 37 bilyon) Ito ay halos isang daang bilyon. 40 bilyon.
Mga paraan ng pagsasanay Dalawang-stage intensive learning (mathematics/programing generic) Pinagsamang ekspertong modelo (MoE) Pag - aanunsiyo ng Pagkatuto Sarili- return pre-training + hulfine-tuning
Mapanganib na mga kakayahan Ang matematikal na pangangatuwiran, ang kodigong salinlahi ay katulad ng R1. Isa ito sa pinakamaganda. Mas karaniwang mga gawain, mas mahinang matematika/code Maraming - gamit na suporta sa kahusayan, katamtamang pangangatuwiran
Halaga ng Deployment Consumer-grade graphic cards sa halagang $0.25/kilotoken Pag - aangkin, nagkakahalaga ng $2.5/kilotoken Cloud API ang tawag, mas mataas na halaga. Kailangan ng high-end GPU cluster
Obserbatoryong bukas Apache 2.0 protocol, buong plataporma na bukas na mapagkukunan Hindi kumpletong bukas na pinagmumulan Isinara Aktibo ang mga open-source communities, na may mas kaunting hinangong mga modelo
Kakayahang mamahala Mga tawag sa pantulong na kagamitan, dinamikong mga pagbabago sa pangangatuwiran Walang espesipikong kombinasyon Limitadong Tulong Wala

Mga lugar kung saan nagaganap ang pagsubok

  • Matematikal na pangangatuwiran (AIME24): QwQ-32B ay parehong Deep search-R1 at kapansin-pansing superior sa o1-mini.
  • Talaan ng mga Nilalaman: Ang QwQ-32B ay kahalintulad ng R1, na lumalampas sa parehong sukat na modelong distilasyon ng higit sa 50%.
  • Buhay sa Bahay: QwQ-32B Nahigitan ang R1 (70) ng 76.5 puntos, malapit sa o3-mini (75) sa halagang 1/20 lamang.

Detalyadong mga hakbang sa paglalagay ng QwQ-32B na ginagamit ang olama

QwQ-32B malaking modelo ng Ali Open Source: Small Parameters nanghihimasok sa malaking pagganap, pagsasanay gastos 1/10 ng Deep search r1

Ang orama ay isang lokal na kasangkapan upang patakbuhin ang LLM. Ang mga sumusunod ay mga hakbang sa pagluklok at paglalagay ng QwQ-32B:

QwQ-32B malaking modelo ng Ali Open Source: Small Parameters nanghihimasok sa malaking pagganap, pagsasanay gastos 1/10 ng Deep search r1
  1. Ibaba
  2. Iluklok ang olama:
    • Pinatatakbo ang mada - download na maaaring gamitin upang makumpleto ang instalasyon.
  3. Paandarin ang osama server:
    • Buksan ang terminal, patakbuhin ang mga utos ollama serveHindi ko alam.
  4. Drow QwQ-32B mga modelo:
    • Gamitin ang utos ollama pull QwQ:32b I-download ang modelo.
QwQ-32B malaking modelo ng Ali Open Source: Small Parameters nanghihimasok sa malaking pagganap, pagsasanay gastos 1/10 ng Deep search r1
  1. Mga modelo sa pagtakbo:
    • Gamitin ollama run QwQ:32b --input "你的提示" Makipag - ugnayan sa mga modelo.

Mga epekto sa ekolohiya at komunidad ng bukas na pinagmumulan

  1. Lahat ng Bukás na Pinagmumulan at Higit Pang Suporta
    QwQ-32B Open Source of the Apache 2.0 protocol, sumasaklaw sa mga platform tulad ng Huging Face, ModelScope, Magic Community, atbp.lokal na kasangkapang de - kuryente (hal. Ollama)atSerbisyo ng Cloud API (Platform)Hindi ko alam. Ang mga developer ay maaaring mabilis na magpino-tune na mga modelo, tasahin at ilagay ang mga stappingment (hal.g. sa pamamagitan ng Aliyun PAI platform).
  2. Ang pinakamalaking bukas na pinagmumulan ng modelong komunidad sa daigdig
    Magmula noong 2023, mahigit sa 200 modelo ang binuksan sa Ali, na sumasaklaw sa lahat ng-modular na anyo ng teksto, paningin, tinig, atbp., mula 0.5B hanggang 110B. Ang bilang ng mga Qwen series na hinangong mga modelo ay lumampas sa 100,000, na lumalampas sa serye ng Llama tungo sa pinakamalaking bukas na source model cluster sa buong mundo. Halimbawa, ang visual generation model “one-size-fits-allife at ang code model “peripheric code” ay malawak na isinama sa industriyal na tanawin.
  3. Ang tugon ng pamayanan at ang halaga ng negosyo
    Sa parehong araw, ang presyo ng Ali stock ay tumaas ng 7 porsiyento sa isang araw, na sumasalamin sa pagtitiwala ng capital market sa mga paglunsad ng teknolohiya. Ang open source stratehiya ay nagtataguyod ng ekolohikal na kaunlaran ng mga developer, na may mga mabilis na pagbaba ng QwQ-32B sa komunidad ng Huging Face, na may mga hinangong aplikasyon na sumasaklaw sa mga lugar tulad ng edukasyon, pananalapi at kalusugan.

IV. Mga implikasyon at mga pag - asa sa hinaharap

  1. Technical paradigm shift
    Ang tagumpay ng QwQ-32B ay ebidensiya na ang AI R & D ay gumagalaw mula sa isang “imekanikal na milagro[update] tungo sa isang “exact dunong”i”, na ang sukat ng parameter ay hindi na ang tanging tagapahiwatig, at ang optimisasyon ng mga algorithm at pamamaraan ng pagsasanay ay ang bagong pokus. Halimbawa, ang muling pagbuhay ng pinahusay na pag-aaral ay nagbibigay ng mga bagong ideya para sa landas ng AGI.
  2. Ang panggagalugad ng katalinuhan at pangangatuwirang long-term
    Binabalak ni Ali na higit pang pag - ibayuhin ang talino at galugarin itoMatagal na pangangatuwiranHalimbawa, ang masalimuot na mga isyu sa pagpaplano ay tinatalakay sa maraming kapaligiran. Padadaliin nito ang ebolusyon ng AI mula sa “tools” hanggang sa “colbropative partners”.
  3. Malayang pinanggagalingan ng kompetisyon at kalakaran
    Ang light quanification at low-cost deposition na kapasidad ng modelo ay nagpapabilis sa teknolohikal na paglakip ng AI, at ang SMEs ay maaaring bumuo ng isang customized programme na batay sa QwQ-32B na mabilis na sirain ang mega-calculations monopolyo. Halimbawa, maaaring pangasiwaan ng lokal na mga modelo sa larangan ng medisina ang sensitibong impormasyon ng pasyente nang hindi na umaasa sa mga ulap.

Pangwakas na mga pangungusap

Ang paglalabas ng QwQ-32B ay hindi lamang isang teknolohikal na pagsulong, kundi isang komprehensibong pagbabago sa bukas-oras na mga modelong ekolohikal at pangnegosyo. Nakakamit nito ang isang lundag pasulong sa pagganap ng mga modelong maliit-parameter sa pamamagitan ng pagpapabuti ng pagsasama-sama ng mga katawang pang-edukasyon at pang-industriya; at muling-inhinyero ang pangkumpitensya ng mga aplikasyong AI sa pamamagitan ng full-source at low-cost supplingment. Sa hinaharap, ang modelo ay magiging isang mahalagang istruktura sa paglipat ng prosesong AGI pasulong sa paglapag ng $380 bilyong AI imprastraktura input.