QwQ-32B mô hình lớn của Nguồn mở Ali: nhỏ tham số hoạt động lớn tò mò, huấn luyện chi phí 1/10 của DeepSek r1

Rất nhiều người hôm nay đang phát động một "thông minh nhân tạo", nhưng tôi nghĩ mô hình QwQ-32B mới mà Ali vừa mở ra còn đáng để tìm kiếm hơn.

I. đột phá lõi và đổi mới công nghệ trong QwQ-32B

Aliyun đã ra mắt và mở ra một thế hệ lý luận mới, QwQ-32B, vào ngày 6 tháng 3 năm 2025, với mục đích:Tham số 32 tỉĐó là một quy mô rất đơn giản, đạt được thông qua các kỹ thuật học tăng cườngDeepSek-R1 cho 671 tỷ tham sốHiệu suất tương đương, ngay cả trong một số lĩnh vực. Những điểm chính sau đây là:

Cách mạng hiệu suất tham số
Tham số QwQ-32B chỉ là DeepSek-R11/21nhưng quaHọc cao hai giai đoạn (RL)Khả năng của “ Mô hình nhỏ + phương pháp học kỹ thuật nâng cao được hiệu lực nhờ đào tạo, hoặc vượt qua những nhiệm vụ sau trong các công việc như lý luận toán học (AIME24 đánh giá) và mã hóa thế hệ (LiveCodebech). Thiết kế này phá vỡ đường lối tin cậy truyền thống về việc sắp xếp các tham số và đánh dấu sự thay đổi của mô hình AI từ “cuộc cạnh tranh quy mô cho đến“ tối ưu hóa hiệu quả tối ưu của các thông số.
Khả năng tích hợp và lý luận của đặc vụ
Lần đầu tiên, mô hình được tích hợp sâu sắc trong mô hình lý luận.Name..những công cụ hỗ trợ cho việc huy động, tư duy chỉ trích và lý luận năng động được điều chỉnh bởi phản hồi môi trường. Ví dụ, khi giải quyết các vấn đề toán học đa bước, mô hình tự động gọi các công cụ điện toán để xác định kết quả trung bình và tối ưu hóa câu trả lời cuối cùng thông qua các chu kỳ phản hồi. Khả năng này làm cho nó linh hoạt và đáng tin cậy hơn trong việc quản lý những nhiệm vụ phức tạp.
Name
Hỗ trợ QwQ-32BThẻ đồ họa cỡ người tiêu dùng (v. d. NVIDI RTX 4070)Đã triển khai tại địa phương, chỉ có giá khấu trừ DeepSek-R1.1/10Chi phí đầu ra là xấp xỉ 0.25 đô-la, giảm đáng kể ngưỡng cho ứng dụng doanh nghiệp. Tính năng này đặc biệt liên quan đến những tình huống nhạy cảm dữ liệu như y học, tài chính và điện toán ngoại biên.
Những đột phá kỹ thuật để tăng cường việc học
Đội Ali đã từ chối mô hình phần thưởng truyền thống và chấp nhận nó.Chiến lược đào tạo RL bậc hai:
- Giai đoạn IĐối với các công việc toán học và lập trình, tính chính xác của câu trả lời được kiểm tra trực tiếp thông qua các mã và hiệu quả đào tạo được tăng cường.
- Giai đoạn IIGiới thiệu các mô hình khuyến khích chung và các quy tắc phổ biến để mở rộng khả năng của mô hình trong các nhiệm vụ chung trong khi duy trì hiệu suất toán học và lập trình. Cuộc nghiên cứu cho thấy các vòng huấn luyện của RL đã tăng hiệu suất của mô hình nâng cấp liên tục, điều này xác nhận phương pháp này.

So sánh tích hợp với mô hình chính thống

So sánh QwQ-32B từ nhiều chiều với các mô hình chính thống khác (DeepSek-R1, OpenAI O1-Mini, Meta Llama3-400B):

Các chiều	QwQ-32B	DeepSek-R1	OpenAI O1-mini	Meta Llama3-400B
Đối số	32 tỷ đô.	671 tỷ (đã kích hoạt 37 tỷ)	Khoảng một trăm tỷ.	40 tỷ.
Phương pháp rèn luyện	Học cấp cao hai giai đoạn (các bản tính/ chương trình chung)	Mô hình chuyên gia phối hợp (MoE)	Comment	Tự sửa đổi sẵn + lệnh tinh chỉnh
Khả năng quan trọng	Lý luận toán học, mã hóa thế hệ giống với R1.	Một trong những người giỏi nhất.	Công việc phổ biến hơn, toán học/ mã yếu hơn	Sự ủng hộ đa ngôn ngữ cho sự xuất sắc, lý luận ôn hòa
Đang triển khai chi phí	Những thẻ đồ họa cấp tiêu dùng với chi phí 0,25/kilotoken	Nghề nghiệp, giá $2.5/kilotoken	Cuộc gọi cho Cloud AP, giá cao hơn.	Cần thiết cụm GPU cao
Hệ sinh thái nguồn mở	Giao thức Apache 2.0, mã nguồn mở đầy đủ	Nguồn mở bộ phận	Đóng cửa	Cộng đồng mã nguồn mở hoạt động, với ít mô hình đạo hàm hơn
Năng lượng đặc vụ	Hỗ trợ công cụ gọi, điều chỉnh lý luận động	Chưa ghi rõ sự kết hợp	Hỗ trợ công cụ hạn chế	Không có

Comment

Lý luận toán học (AIME24)QwQ-32B là giống như DeepSek-R1 và cao hơn đáng kể so với o1-mini.
Thế hệ mã (LiveCodeBnch)QwQ-32B được so sánh với R1, vượt quá kích cỡ của việc chưng cất với hơn 50%.
Name: QwQ-32B vượt quá R1 (70) bởi 72.5 điểm, gần o3-min (75) với giá chỉ 1/2.

Name

Olama là một công cụ địa phương để chạy LLM. Những bước sau đây là cài đặt và triển khai QwQ-32B:

Tải về
- Thăm Nametải tập tin thực hiện được theo hệ điều hành.
Cài đặt Olama:
- Chạy tập tin thực hiện được để cài đặt xong.
Khởi động trình phục vụ Olam:
- Mở thiết bị cuối, chạy lệnh ollama serveTôi không biết.
Vẽ mô hình QwQ-32B:
- Dùng lệnh ollama pull QwQ:32b Tải về mẫu.

Mô hình chạy:
- Dùng ollama run QwQ:32b --input "你的提示" Giao tiếp với mô hình.

Mở hệ sinh thái nguồn và ảnh hưởng cộng đồng

Tất cả các nguồn mở và nhà phát triển
QwQ-32B Nguồn mở của giao thức Apache 2.0, bao gồm các nền tảng như Hug Face, ModelScope, Ma thuật cộng đồng, vv.NamevàCommentTôi không biết. Các nhà phát triển có thể nhanh chóng mô hình mịn, đánh giá và công-te-ta- hóa việc triển khai (v. d. thông qua nền tảng Aliyun PAI).
Cộng đồng mô hình mã nguồn mở lớn nhất thế giới
Từ năm 2023, hơn 200 mô hình đã được mở ra ở Ali, bao gồm tất cả các dạng văn bản, thị lực, giọng nói, vân vân, từ 0.5B đến 110B. Số lượng các mô hình đạo hàm của Qwen đã vượt quá 100,000, vượt ra khỏi chuỗi Llama vào cụm mã nguồn mở lớn nhất toàn cầu. Chẳng hạn, mô hình thế hệ thị giác “một kích thước của toàn bộ phương tiện này và mô hình mã hóa“ mã hóa ngoại vi đã được kết hợp rộng rãi vào khu vực công nghiệp.
Đáp ứng cộng đồng và giá trị kinh doanh
Cùng ngày, giá cổ phiếu Ali tăng 7 phần trăm mỗi ngày, phản ánh sự tự tin của thị trường vốn trong các cuộc đổ bộ công nghệ. Chiến lược mã nguồn mở khuyến khích sự thịnh vượng sinh thái của các nhà phát triển, với những giọt giảm nhanh của QwQ-32B trong cộng đồng Hug Face, với các ứng dụng dẫn xuất bao gồm những lĩnh vực như giáo dục, tài chính và sức khỏe.

IV. Khu vực liên quan và triển vọng trong tương lai

Chuyển đổi mô hình kỹ thuật
Sự thành công của QwQ-32B là bằng chứng cho thấy AI R & D đang di chuyển từ một “phép lạ được so sánh thành một“ sự khôn ngoan chính xác, kích thước tham số đó không còn là chỉ thị duy nhất, và rằng tối ưu hóa các thuật toán và phương pháp huấn luyện là trọng tâm mới. Chẳng hạn, việc học nâng cao cung cấp những ý tưởng mới cho con đường AGI.
Khám phá trí thông minh và lý luận lâu dài
Ali lên kế hoạch để tăng cường khả năng tình báo và khám pháLý do dài hạnThí dụ, những vấn đề về lập kế hoạch phức tạp được giải quyết trong nhiều phạm vi môi trường. Điều này sẽ tạo điều kiện cho sự tiến hóa của AI từ “các công cụ ” thành“ các đối tác hợp tác ”.
Name
Sự định lượng ánh sáng và khả năng triển khai ít chi phí của mô hình tăng tốc độ công nghệ của AI, và SMEs có thể xây dựng một chương trình tùy chỉnh dựa trên QwQ-32B nhanh chóng để phá vỡ các siêu tính độc quyền. Chẳng hạn, các mô hình được triển khai tại địa phương trong lĩnh vực y khoa có thể xử lý các dữ liệu nhạy cảm mà không cần dựa vào mây.

Kết thúc chú thích

Sự giải phóng QwQ-32B không chỉ là một bước đột phá công nghệ, mà còn là một sự đổi mới toàn diện trong các mô hình sinh thái mã nguồn mở và kinh doanh. Nó đạt được một bước nhảy vọt trong hiệu quả của mô hình bán kính nhỏ bằng cách tăng cường sự kết hợp của học tập và cơ thể thông minh; và tái tạo lại mô hình cạnh tranh của các ứng dụng AI thông qua các hoạt động nguồn đầy đủ và giá rẻ. Trong tương lai, mô hình sẽ là một bước ngoặt quan trọng trong việc di chuyển quá trình AII về phía trước với việc hạ cánh 380 tỷ USD đầu vào cơ sở hạ tầng AI.