QWQ-32B รุ่นใหญ่ของ Ali open source: พารามิเตอร์ขนาดเล็กที่สอดแทรกการแสดงขนาดใหญ่ ค่าการฝึก 1/10 ของ Depeek R1
คนจํานวนมากกําลังยิง "อัจฉริยะ" มานุสในวันนี้ แต่ฉันคิดว่ารุ่น QWQ-32B ที่อาลีเพิ่งเปิดมา มันคุ้มค่ามากกว่าการค้นหาอีก
I. Core การค้นพบและนวัตกรรมเทคโนโลยีใน QWQ-32B.
Aliyun ออกจําหน่ายและเปิดโมเดลการให้เหตุผลรุ่นใหม่ คือ QwQ-32B เมื่อวันที่ 6 มีนาคม 2025 โดยมีมุมมองว่า32 พันล้านพารามิเตอร์มันเป็นมาตราที่ง่ายมาก ประสบความสําเร็จผ่านทางเทคนิคการเรียนรู้ที่เสริมสร้างDecember- R1 สําหรับ 671 พันล้านพารามิเตอร์ประสิทธิภาพของการแสดง แม้ในบางพื้นที่ ต่อ ไป นี้ เป็น จุด เด่น หลัก ของ มัน:
- การปฏิวัติพารามิเตอร์อย่างมีประสิทธิภาพ
พารามิเตอร์ของ QWQ- 32B จะใช้เฉพาะเนื้อความที่ลึกเท่านั้น1/21แต่ผ่านการเรียนหนักสองเวที (RL)ความเหมาะสมของ "แบบจําลองทั้งหมด + การเรียนรู้เพิ่มเติม" ทางเทคโนโลยีได้รับการรับรองโดยการฝึก ซึ่งดําเนินการในหรือนอกเหนือจากนี้ในภารกิจเช่น การให้เหตุผลทางคณิตศาสตร์ (AIME24 International Internation) และรุ่นรหัส (Leavecode Bench). การออกแบบนี้ทําลายเส้นทางของความไว้วางใจแบบดั้งเดิม ในการซ้อนตัวแปร และทําเครื่องหมายการเปลี่ยนแปลงรุ่น AI จาก "การแข่งขันระดับ" ไปเป็น "ความเหมาะสม". - ความสามารถของจนท.ในการรวมและเหตุผลแบบไดนามิค
เป็น ครั้ง แรก ที่ มี การ เชื่อม โยง แบบ จําลอง นี้ เข้า กับ แบบ อย่าง การ หา เหตุ ผล.ความจุขององค์กรอัจฉริยะการสนับสนุนเครื่องมือในการระดมคน ความคิดรุนแรง และการให้เหตุผลอย่างเฉียบพลัน ยกตัวอย่างเช่น ในการพูดถึงปัญหาทางคณิตศาสตร์หลายขั้นตอน โมเดลนี้เรียกว่า เครื่องมือคํานวณอัตโนมัติ เพื่อตรวจสอบผลเฉลี่ย และปรับแต่งคําตอบสุดท้าย ความ สามารถ นี้ ทํา ให้ ง่าย ขึ้น และ ไว้ วางใจ ได้ ใน การ จัด การ กับ คํา สั่ง ที่ ซับ ซ้อน. - โปรแกรมที่ใช้งานแบบน้อยและแบบรวม
รองรับ QWQ- 32Bนามบัตรกราฟิกสําหรับผู้ใช้ (เช่น NVIDIA RTX 4070)ใช้งานในท้องถิ่นมีเพียงค่าใช้จ่าย depeek-R11/10(ค่าใช้จ่ายการแสดงผลแบบเดียวประมาณ 0.25 บาท) ซึ่งลดขีดจํากัดของ enterprise application ลงอย่างมาก คุณสมบัตินี้มีความสําคัญโดยเฉพาะ สําหรับสถานการณ์ที่ไวต่อข้อมูล เช่น การแพทย์ การเงิน - ความ ก้าว หน้า ทาง ด้าน เทคโนโลยี เพื่อ เพิ่ม การ เรียน รู้
ทีมอาลีปฏิเสธ รางวัลดั้งเดิม และรับมาเลี้ยงกลยุทธ์การฝึก RL เฟส.- ระยะที่ 1สําหรับงานทางคณิตศาสตร์และการเขียนโปรแกรม ความถูกต้องของคําตอบ ได้รับการตรวจสอบโดยตรง ผ่านรหัสและประสิทธิภาพในการฝึกอบรม
- ระยะที่ 2เพื่อขยายความสามารถของแบบจําลอง ในภารกิจทั่วไป งานวิจัยแสดงให้เห็นว่า RL การฝึกอบรมรอบเพิ่มประสิทธิภาพ ของรุ่นอัพเกรดคงที่ ซึ่งตรวจสอบวิธีการ
เปรียบ เทียบ แบบ จําลอง หลัก ๆ
เปรียบเทียบ QWQ-32B จากหลายมิติกับโมเดลกระแสอื่น ๆ (Deepzeek-R1, OpenAI O1-Mini, Meta Lamama3-00B):
| ขนาด | QWQ- 32B | ค้นหาลึก- R1 | OpenAI O1-min | เมต้า Lamama3-00B |
|---|---|---|---|---|
| อาร์กิวเมนต์ | $32 พันล้าน | 671 พันล้าน (จํานวน 37 พันล้าน) | ประมาณแสนล้าน | 40 พันล้าน |
| วิธี ฝึก อบรม | เรียนรู้อย่างเอาเป็นเอาตายสองขั้น (คณิตศาสตร์/โปรแกรมทั่วไป) | รุ่นของผู้เชี่ยวชาญแบบผสม (ME) | ภาพรวมของการเรียนรู้ | เปลี่ยนตัวเองก่อนกําหนดโปรแกรม + คําสั่งปรับเทียบข้อมูล |
| ความสามารถที่สําคัญ | การให้เหตุผลเชิงคณิตศาสตร์, รหัสรุ่นเท่ากับ R1 | เป็นหนึ่งในสุดยอด | งานทั่วไปมากขึ้น คณิตศาสตร์/รหัสที่อ่อนแอลง | การ สนับสนุน หลาย ภาษา สําหรับ ความ ยอด เยี่ยม, การ หา เหตุ ผล แบบ พอ ประมาณ |
| ค่าปรับ | กราฟฟิกระดับผู้ใช้ ด้วยค่าใช้จ่าย $0.25/kilotogen | ราคา $2.5/kilotogen | Cload API เรียกค่าใช้จ่ายที่สูง | ต้องการกลุ่ม GPU ระดับสูง |
| ระบบนิเวศแบบโอเพนซอร์ส | โพรโทคอล Apache 2. 0, เปิดแพลตฟอร์มเต็มรูปแบบ | แหล่งโอเพนซอร์สบางส่วน | ปิด | ชุมชน open-source มีการทํางาน มีโมเดลอนุพันธ์น้อยลง |
| ความจุของเจ้าหน้าที่ | การเรียกสนับสนุน, การปรับเปลี่ยนเหตุผลแบบไม่ตายตัว | ไม่ได้ระบุการอินทิเกรต | การรองรับเครื่องมือจํากัด | ไม่มี |
ประสิทธิภาพการทดสอบจุดสว่าง
- การ หา เหตุ ผล แบบ คณิตศาสตร์ (AIME24)QWQ-32B ก็เท่ากับ Depsek-R1 และเหนือกว่า O1-min
- รหัส รุ่น (LaveCodeBance)QWQ-32B เทียบได้กับ R1 แบบจําลองการกลั่นขนาดเดียวกันมากกว่า 50%
- ไลฟ์เบคค.ศ.
ขั้นรายละเอียดที่จะปรับใช้ QWQ-32B โดยใช้ Oolama
โอลามาเป็นเครื่องมือในท้องถิ่นที่จะเรียกใช้ LLM ต่อไปนี้เป็นขั้นตอนที่จะติดตั้งและใช้งาน QWQ-32B:
- ดาวน์โหลด
- ไปยัง ลามะ ของ เว็บไซต์ สังคมดาวน์โหลดตัวประมวลผลตามระบบปฏิบัติการ
- ติดตั้งโอลามา:
- ประมวลผลโปรแกรมประมวลผลเพื่อทําการติดตั้งเสร็จสมบูรณ์
- เริ่มเซิร์ฟเวอร์ Olyma:
- เปิดเทอร์มินัล, เรียกคําสั่งทํางาน
ollama serveฉันไม่รู้
- เปิดเทอร์มินัล, เรียกคําสั่งทํางาน
- วาด QwQ-32B โมเดล:
- ใช้คําสั่ง
ollama pull QwQ:32bดาวน์โหลดโมเดล
- ใช้คําสั่ง
- รุ่นของการทํางาน:
- ใช้
ollama run QwQ:32b --input "你的提示"ปฏิสัมพันธ์กับนางแบบ
- ใช้
ผลกระทบแบบโอเพนซอร์สและชุมชน
- การรองรับแหล่งโอเพนซอร์สและนักพัฒนาทั้งหมด
QWQ-32B open sources of the Apache 2.0. ครอบคลุมแพลตฟอร์มเช่น Hugging Face, ModeScope, Magic Apany, etc.ห่วงโซ่เครื่องมือท้องถิ่น (เช่น Olalama)ถึงบริการ Cload API (แนวตั้ง)ฉันไม่รู้ กลุ่มผู้พัฒนาสามารถคํานวณและบรรจุอุปกรณ์ได้ได้อย่างรวดเร็ว (เช่น ผ่านทางแพลตฟอร์ม Aliyun PRI) - สังคมแบบโอเพนซอร์สที่ใหญ่ที่สุดในโลก
2023 ได้มีการเปิดโมเดลกว่า 200 รุ่นในอลิครอบคลุมทั้งรูปแบบของข้อความ, สายตา, เสียง ฯลฯ ตั้งแต่ 0.5B ถึง 110B. จํานวนของชุดอนุพันธ์ Qwen มีมากกว่า 100,000 ตัว ย้ายเกินซีรีส์ Lamama ไปสู่กลุ่มที่เปิดมากที่สุดทั่วโลก ตัว อย่าง เช่น รุ่น ที่ มอง เห็น ภาพ ได้ “ขนาด ขนาด เดียว ของ อะตอม ทั้ง หมด ” และ แบบ รหัส “รหัส ภาพ ” ได้ รับ การ ผนวก เข้า กับ ภูมิ ประเทศ อุตสาหกรรม อย่าง กว้าง ขวาง. - การ ตอบ รับ ของ ชุมชน และ คุณค่า ทาง ธุรกิจ
ในวันเดียวกัน ราคาหุ้นของแอลลี่เพิ่มขึ้น 7 เปอร์เซ็นต์ต่อวัน สะท้อนความมั่นใจของตลาดทุนในการลงจอดของเทคโนโลยี กลยุทธ์โอเพนซอร์ส ส่ง เสริม ความ เจริญรุ่งเรืองของนักพัฒนาระบบนิเวศ โดยมีการลดลงอย่างรวดเร็วของ QWQ-32B ในชุมชน Hugging Face
IV ผลกระทบของขอบเขตและอนาคต
- การเปลี่ยนภาพเชิงเทคนิค
ความสําเร็จของ QWQ-32B เป็นหลักฐานว่า AI R & D กําลังย้ายจาก "ปาฏิหาริย์ที่หลากหลาย" มาเป็น "ปัญญาสัมปชัญญะ", ขนาดพารามิเตอร์นั้นไม่ใช่เพียงตัวบ่งชี้เท่านั้น, ตัว อย่าง เช่น การ ฟื้นฟู การ เรียน รู้ ที่ เสริม สร้าง ทํา ให้ มี แนว คิด ใหม่ ๆ เกี่ยว กับ วิถี ชีวิต แบบ เอ จี ไอ. - การสํารวจของสติปัญญาและเหตุผลระยะยาว
Ali วางแผนที่จะรวมความสามารถด้านสติปัญญาและการสํารวจการให้เหตุผลระยะยาวตัว อย่าง เช่น มี การ พูด ถึง ปัญหา การ วาง แผน ที่ ซับ ซ้อน ใน หลาย สภาพ แวด ล้อม. นี้จะทําให้วิวัฒนาการของ AI จาก "เครื่องมือ" เป็น "คู่ค้าร่วมทุน". - การแข่งขันโอเพนซอร์สและแนวโน้มที่ไม่รวม
ความจุแสงและความจุในการใช้งานต่ํา ของรุ่นเร่งการควบรวมเทคโนโลยีของ AI และ SMEs สามารถสร้างโปรแกรมปรับแต่งขึ้น ตัว อย่าง เช่น ใน ท้อง ถิ่น แบบ จําลอง การ ใช้ งาน ใน วงการ แพทย์ สามารถ จัด การ กับ ข้อมูล ที่ ละเอียด อ่อน ของ คนไข้ ได้ โดย ไม่ ต้อง อาศัย เมฆ.
การ รวม คํา พูด
การปล่อย QWQ-32B ไม่เพียงแต่การค้นพบทางเทคโนโลยี แต่เป็นการสร้างสรรค์อย่างครอบคลุม มันประสบความสําเร็จก้าวกระโดดไปข้างหน้าในการแสดงของแบบจําลองแบบพารามิเตอร์ขนาดเล็ก โดยการเสริมสร้างการผสมผสานของการเรียนรู้และร่างปัญญา และปรับเปลี่ยนรูปแบบการแข่งขันของ AI ในอนาคต โมเดลจะเป็นหลักสําคัญในการย้ายกระบวนการ AGI ไปข้างหน้าด้วย การลงจอดของ