QwQ- 32B duży model Ali Open Source: małe parametry pry duża wydajność, koszt treningu 1 / 10 DeepSeek r1

Wielu ludzi strzela dziś "general intelligence" Manus, ale myślę, że nowy model QwQ- 32B, który Ali właśnie otworzył jest jeszcze bardziej wart poszukiwania.

I. Podstawowe przełomy i innowacje technologiczne w QwQ- 32B

Aliyun wydał i otworzył nową generację modeli rozumowania, QwQ- 32B, 6 marca 2025, w celu:32 mld parametrówTo bardzo prosta skala, osiągnięta dzięki ulepszonym technikom uczenia sięDeepSeek- R1 dla 671 miliardów parametrówRównoważna wydajność, nawet w niektórych obszarach. Główne elementy tej inicjatywy to:

Rewolucja wydajności parametrów
Parametr QwQ- 32B jest tylko DeepSeek- R11/21, ale przezDwuetapowe intensywne kształcenie (RL)Wykonalność trasy technologicznej "Small Model + Enhanced Learning" została potwierdzona przez szkolenie, które zostało przeprowadzone na lub poza nią w zadaniach takich jak rozumowanie matematyczne (ocena AIME24) i generowanie kodu (LiveCodeBench). Projekt ten przerywa tradycyjną zależność od układania parametrów i oznacza przejście modelu SI z "konkurencji skali" na "optymalizację wydajności".
Zdolność agenta do integracji i dynamicznego rozumowania
Po raz pierwszy model został głęboko włączony do modelu rozumowania.Inteligentna zdolność agencji, narzędzia wsparcia dla mobilizacji, myślenia krytycznego i dynamicznych dostosowań rozumowania, napędzanych przez opinie środowiskowe. Na przykład, przy rozwiązywaniu wieloetapowych problemów matematycznych, model automatycznie wywołuje narzędzie obliczeniowe do walidacji wyników pośrednich i optymalizuje ostateczną odpowiedź poprzez cykle sprzężenia zwrotnego. Zdolność ta czyni ją bardziej elastyczną i niezawodną w obsłudze złożonych mandatów.
Niskie koszty wdrożenia i zastosowania integracyjne
Wsparcie QwQ- 32BKarty graficzne na skalę konsumencką (np. NVIDIA RTX 4070)Lokalnie rozmieszczona, tylko koszt deepSeek- R1.1/10(Jednolity koszt produkcji wynosi około 0,25 USD), co znacznie obniża próg dla zastosowań w przedsiębiorstwach. Funkcja ta jest szczególnie istotna dla wrażliwych na dane scenariuszy, takich jak medyczne, finansowe i peryferyjne urządzenia obliczeniowe.
Przełomy technologiczne na rzecz lepszego uczenia się
Drużyna Ali odrzuciła tradycyjny model nagrody i przyjęła go.Stopniowa strategia szkoleniowa RL:
- Faza I: W przypadku zadań matematycznych i programowych poprawność odpowiedzi jest weryfikowana bezpośrednio za pomocą kodu, a skuteczność treningu jest zwiększona.
- Etap II: Wprowadzenie ogólnych modeli motywacyjnych i certyfikatorów przepisów w celu zwiększenia możliwości modeli w ogólnych misjach przy jednoczesnym zachowaniu wyników matematycznych i programowych. Badanie wykazało, że rundy treningowe RL zwiększyły wydajność modelu ciągłego uaktualniania, który zatwierdził metodę.

Zintegrowane porównanie modeli głównego nurtu

Porównaj QwQ- 32B z wieloma wymiarami z innymi modelami głównego nurtu (DeepSeek- R1, OpenAI o1- Mini, Meta Llama3- 400B):

Wymiary	QwQ- 32B	DeepSeek- R1	OpenAI o1- mini	Meta Llama3- 400B
Argumenty	32 miliardy.	671 mld (aktywowane 37 mld)	To około stu miliardów.	40 miliardów.
Metody szkolenia	Dwuetapowe intensywne kształcenie (matematyka / programowanie ogólne)	Mieszany model ekspercki (MoE)	Nadzór nad uczeniem się	Self- return pre- training + polecenie fine- tuning
Zdolności krytyczne	Matematyczne rozumowanie, generowanie kodu jest takie samo jak R1.	To jeden z najlepszych.	Więcej wspólnych zadań, słabsza matematyka / kod	Wielojęzyczne wsparcie dla doskonałości, umiarkowane rozumowanie
Koszty wdrożenia	Karty graficzne klasy konsumenckiej w cenie 0,25 $/ kilotoken	Zawód, kosztuje $2.5 / kilotoken	API Cloud, wyższe koszty.	Wymagany klaster GPU
Ekologia otwartego źródła	Protokół Apache 2.0, pełna platforma open source	Częściowe otwarte źródło	Zamknięte	Społeczności Open- source są aktywne, z mniejszą liczbą modeli pochodnych
Zdolność agenta	Rozmowy z narzędziami pomocniczymi, dynamiczne korekty rozumowania	Brak określonej integracji	Ograniczone wsparcie narzędzi	Brak

Badanie skuteczności w jasnych miejscach

Uzasadnienie matematyczne (AIME24): QwQ- 32B jest taki sam jak DeepSeek- R1 i znacznie lepszy od o1- mini.
Wytwarzanie kodu (LiveCodeBench): QwQ- 32B jest porównywalny z R1, przekraczając ten sam model destylacji o ponad 50%.
LifeBech: QwQ- 32B przekracza R1 (70) o 72,5 punktów, blisko o3- mini (75) przy koszcie 1 / 20.

Szczegółowe kroki do wdrożenia QwQ- 32B przy użyciu olamy

Olama jest lokalnym narzędziem do prowadzenia LLM. Poniżej przedstawiono kroki w celu zainstalowania i wdrożenia QwQ- 32B:

Pobierz
- Wizyty lama strony społecznej, pobrać wykonywalny zgodnie z systemem operacyjnym.
Zainstaluj olamę:
- Pobiera do pobrania wykonywalny, aby zakończyć instalację.
Uruchom serwer olama:
- Otwórz terminal, uruchom polecenia ollama serveNie wiem.
Rysuj modele QwQ- 32B:
- Użyj polecenia ollama pull QwQ:32b Pobierz model.

Uruchom modele:
- Stosowanie ollama run QwQ:32b --input "你的提示" Interakcja z modelami.

Ekologia otwartego źródła i skutki dla społeczności

All Open Source and Developer Support
QwQ- 32B Open Source of the Apache 2.0 protocol, cover platformes such as Huging Face, ModelScope, Magic Community, etc.Lokalny łańcuch narzędzi wdrażających (np. Ollama)orazUsługa API w chmurze (platforma)Nie wiem. Deweloperzy mogą szybko tworzyć modele fine- tune, oceniać i koncentryzować wdrażanie (np. poprzez platformę Aliyun PAI).
Największa społeczność modeli open source na świecie
Od 2023 roku w Ali otwarto ponad 200 modeli, obejmujących wszystkie modułowe formy tekstu, wizji, głosu itp., od 0.5B do 110B. Liczba modeli pochodnych serii Qwen przekroczyła 100 000, przechodząc poza serię Llama do największego klastra modelu open source na świecie. Na przykład wizualny model generacji "jeden-size-fits" oraz model kodu "perideryczny kod" zostały szeroko zintegrowane z krajobrazem przemysłowym.
Odpowiedź Wspólnoty i wartość przedsiębiorstw
Tego samego dnia cena akcji Ali wzrosła o 7 procent dziennie, odzwierciedlając zaufanie rynku kapitałowego do lądowania technologicznego. Strategia open source promuje ekologiczny dobrobyt deweloperów, z gwałtownymi spadkami QwQ- 32B w społeczności Huging Face, z wykorzystaniem pochodnych aplikacji obejmujących takie dziedziny jak edukacja, finanse i zdrowie.

IV. Konsekwencje sektorowe i perspektywy na przyszłość

Zmiana paradygmatu technicznego
Sukces QwQ- 32B jest dowodem na to, że AI R & D przechodzi z "mieszanego cudu" do "dokładnej mądrości", że rozmiar parametru nie jest już jedynym wskaźnikiem, a optymalizacja algorytmów i metod szkoleniowych jest nowym celem. Na przykład ożywienie ulepszonego uczenia się daje nowe pomysły na ścieżkę AGI.
Badanie inteligencji i długofalowe rozumowanie
Ali planuje dalszą integrację zdolności wywiadowczych i badanieUzasadnienie długoterminoweNa przykład w wielu rundach środowisk poruszane są złożone kwestie planowania. Ułatwi to ewolucję ptasiej grypy z "narzędzi" na "partnerów współpracujących".
Konkurencja otwarta i trendy sprzyjające włączeniu społecznemu
Zdolność modelu do jasnego określania ilościowego i niskonakładowego wdrożenia modelu przyspiesza technologiczną integrację PWI, a MŚP mogą stworzyć indywidualny program oparty na QwQ- 32B, aby szybko przerwać monopol na obliczenia mega. a MŚP mogą opracować indywidualny program oparty na QwQ- 32B, aby szybko przerwać monopol na obliczanie mega-. Na przykład modele stosowane lokalnie w dziedzinie medycyny mogą obsługiwać wrażliwe dane pacjentów bez konieczności polegania na chmurach.

Uwagi końcowe

Wydanie QwQ- 32B to nie tylko przełom technologiczny, ale wszechstronna innowacja w zakresie ekologicznych i biznesowych modeli open-source. Osiągnięto w niej krok naprzód w realizacji modeli małych parametrów poprzez zwiększenie integracji instytucji edukacyjnych i wywiadowczych, a także zrekonstruowano konkurencyjny model zastosowań ptasiej grypy poprzez pełne i niskie koszty wdrożenia. W przyszłości model ten będzie kluczowym kamieniem milowym w przesunięciu procesu AGI do przodu wraz z wyładunkiem 380 mld dolarów wkładu infrastrukturalnego AI.