B, GGUF, MTP, A3B, E4B: Ang limang tauhan sa modelong pangalan, hindi isa. Mayroon.

Magsimula tayo sa isang konklusyon na nagliligtas sa kalahati ng kalituhan:Ang limang bagay na ito ay hindi pare - pareho ang sukat.Ang B ay ang salitang, A3B at E4B ay ang "quantity", GGUF ang lalagyan, MTP ang plagin. Sa katunayan, sila'y sumasagot sa isang lubhang naiibang tanong.

Ang espesipikong pagkakabaha - bahagi ng paggawa ay gaya ng sumusunod:"B," "Gaano kalaki," "A3B," "Gaano karaming gawa," "E4B," "kung gaano talaga ang nasa memorya," "GGUF," "Ano ang nasa loob nito," "MTP," "paano ito bumibilis."Apat o limang dokumento ang sabay - sabay na lumilitaw sapagkat ang mga ito'y kailangang ipahayag nang sabay - sabay — subalit kadalasang nagkakaroon ng kalituhan kapag ang mga ito'y itinuturing na iisang uri ng impormasyon.

Isa, B: Ito'y isa lamang bilyon.

Ang B ay Bilyon, isang bilyon.7B Ito ay isang 7 bilyon-dollar parameter.235B Iyan ay 235 bilyon. Ito ay isang set ng scale unlapi sa GGUF na kodigo ng pangalan:K Libu - liboM Milyun - milyon,B Isang bilyon.T trilyong dolyar,Q Bilyon.

Tulad ng pinakasimple, ang totoo ay may tatlong ganap na magkakaibang kahulugan. Ito ang unang dapat maging maliwanag:

Sumulat	Kahulugan	Ano ang ipinasiya?
30B	Pangkalahatang mga parameter: hustong timbang	Maaari ka bang maglaro nito?(disk, tingnan)
30B-A3B	Kabuuan 30B, nag-iisang Aberahe 3B	Gaano kabilis? Gaano kagastos?
E4B	Walang - katulad na mga parameter: aktuwal na pagkanaroroon sa panahon ng operasyon	Puwede ka bang makipag - usap sa telepono?

Kung magkasama ninyong titingnan ang tatlong linyang ito, mahihinuha ninyo na ang modelong 30B ay maaaring tumakbo sa isang cell phone.Maaaring tama ito, subalit hindi katulad ng 30B na akala mo.

II. A3B: Ang mga panlahat na parameter at mga parameter na pangmeter ay hindi minsang Oo.

Ito ay mula sa MoE. Qwen3 ay napaka malinaw tungkol sa mga pangalan ng mga modelo:Ang Qwen3-235B-A22B ay isang malaking modelo ng "233.5 bilyong kabuuang parameters, 22 bilyon na produced parameters", at Qwen3-30B-A3B ay isang maliit na MoE ng "30 bilyong kabuuang parameter, 3 bilyong received parameters".

Espesipiko rin ang mga teknikal na detalye: 30B-A3B May 48 palapag, Q/KV head count 32/48 ng 128 espesyalista ang kumilos, konteksto 128K. Ang 235B-A22B ay ika- 94 na palapag, 64/4 na ulo, ito rin ay 128 eksperto na nag-udyok 8.

Kaya, A3B, ang aktuwal na kahulugan ng markang ito ay:Mga palabas 30B, bilis 3B.

Iyan ang lahat ng tukso ni MoE, ang lahat ng pinagmumulan ng di - pagkakaunawaan.Nag - iipon ka ng pera, hindi ng memorya.Maraming mga tao ang nakakakita ng A3B at nag-iisip na ito ay isang modelong 3B, na nakakarga sa isang makinang 4GB, at pagkatapos ay hindi na makapagkarga. Walang isa man sa mga timbang ang maliliit, ngunit hindi lahat ng mga patiunang kalkulasyon.

Kasama ng madaling ipagwalang-bahalang pagsusulat: SizeLabel ng GGF ay ang SizeLabel ng GGF <expertCount>x<count><scale-prefix>♪ At ♪ 8x7B Ito ay tinatawag na "8 dalubhasa x 7B", para sa kabuuang 56B.Iyan ay alin sa isang multiplication ellipsis o isang pagpaparami.Ang mixtral-8x7B ay kadalasang pinapakahulugan bilang isang "7B model" at ang aktuwal na kabuuang parameter ay 56B.

III. E4B:E ay effictive, hindi "mas maliit"

Ito ang isa sa pinakamadaling basahin nang lubusan. Maliwanag ang dokumento ni Gemma 3n:

Mga markang Parameter para sa modelong Gemma 3n (hal. g. E2B, E4B)Mas mababa kaysaAng kabuuang dami ng parameters ay aktuwal na isinama sa modelo. Ang unlapi ay nagpapahiwatig na ang mga modelong ito ay maaaring patakbuhin sa pamamagitan ng isang set ng mga "walang aktibong parameter".

Hanggang saan? Ibinigay ng dokumento ang bilang:Ang mga pamantayan ng E2B ay ipinatutupad sa pamamagitan ng pagkarga ng mahigit sa 5 bilyong parameter, pagtalon at PLE caches sa pamamagitan ng mga parameter upang i-publish ang aktibong memory load sa 1.91B.

Pansinin ang pangunahing mga salita ng pangungusap na ito:Ang modelo mismo ay hindi naging mas maliit, ito ay naging mas maliit ayon sa presensiya nito habang tumatakbo.

Magagawa ito sa pamamagitan ng dalawang mekanismo:

• PLE Cach (Per-Layer Embeding).Ang bawat suson ng nakabaong mga parameter ay maaaring gawin nang hiwalay mula sa modelong memorya, ilagay sa isang mabilis na imbakan, at idagdag sa bawat suson kapag tumatakbo.Katumbas ito ng pagtatanong sa bahaging ito ng parametro na wala sa alaala.
• MatFormer.May ilang maliliit na modelong nakapaloob sa loob ng isang malaking modelo, na hindi na kailangang mag-udyok ng mga panlabas na parameter kapag nahinuha. Kaya maaari mong kunin ang anumang gitna sa pagitan ng 2B at 4B.

Ito'y humahantong sa isang salungat na katotohanan:Ang E4B ay naglalaman ng lahat ng mga E2B parameter.Hindi dalawang modelong stand-alone, dalawang slot para sa parehong elastikong modelo. Kaya ang eksaktong termino ay hindi "E4B ay isang 4B maliit na modelo" kundi "E4B."Ang E4B ay isang elastikong modelo na may sukdulang lakas na tumutungo sa 4B.Ayaw kong pumunta saan.

Ito ay may malaking epekto sa hatol na "maaaring tumakbo ako sa aking kagamitan":Ang E4B ay maaaring magpatakbo ng E2B-tulad sa mababang-equipment na kagamitan at lumawak sa 4B sa high-equipment na kagamitan.At ang A3B ay walang ganitong elastisidad - ito'y 30B, ito'y nagkakahalaga lamang.

IV. GGUUF: Hindi ito modelo, isa itong modelong kahon.

Ang unang tatlo ay ang sukat ng modelo, na nagbago sa dimensiyon mula sa GGUF:Ito ang format ng talaksan.Upang maging tiyak, ang GGUUF ay isang modelong storage format para sa GGML at ang tagapag-ambag nito (llama.cpp).

Pinapalitan nito ang GGML, GGMF, GGJT, three-generation format. Ang opisyal na mga target ng disenyo ay apat, na ang bawat isa ay katumbas ng nakalipas na punto ng kirot:

Mga Layunin sa Disenyo	Ano ang dapat gawin?
Paglalagay ng iisang file	Walang karagdagang dokumento na kailangan, tuwirang pamamahagi at pagkarga
Malalawak	Ang pagdaragdag ng bagong metadata ay hindi nagpapahina sa pagiging magkatulad ng dating mga modelo
mmap Kasuwato	Pagpapasan ng Mapa ng Alaala, Mabilis
Buong impormasyon	Ang lahat ng kailangan mong dalhin ay nasa salansan. Ang mga gumagamit ay hindi na kailangang magtustos nito.

Ang pangunahing pagkakaiba nito at ng huling henerasyon ng GGJT ay isa lamang pangungusap, ngunit ito ang susi:Ang hyperparameter ay binabago mula sa isang talaan ng mga halaga na walang tipo tungo sa isang susi sa metadata.Dahil sa hakbang na ito, naging posible ang "dagdag na field incompatibility" — minsang nadagdag ang isang larangan, kailangang baguhin ang lahat ng mga lumang tagalutas.

Paano mo ito sinabi?

Ang opisyal na kodigo ng pagpapangalan ay:

[].gguf

Kunin ang isang tunay na halimbawa.

mtp-Qwen3-27B-v1.0-Q4_K_M.gguf

• mtp- • Sidecar (byline module, tingnan ang susunod na seksiyon)
• Qwen3 → BaseName (baseng pangalan ng modelo)
• 27B → SizeLabel (parameter slot)
• v1.0 Bersiyon (bersiyon)
• Q4_K_M Pagkokodigo (fellow processing/quantification)

May dalawang bahagi na hindi kadalasang nakikilala:

• Uri.:LoRA Nangangahulugan ito ng isang taga-angkop, hindi isang ganap na modelo;vocab ang buod ng bokabularyo.
• Shad.:00003-of-00009 Ipinapakita ang praksiyon, ika-3 ng 9 Atensiyon.Nagsisimula ang pagbilang sa 00001Hindi 00000.

Mayroon ding isang mahalagang di - pag - aangkin sa pamantayan:Tinatawag itong "hindi ganap na mababasa sa ilang.", dahil ang umiiral na gguf file ay labis na magkakaiba.Kaya huwag sumulat ng isang regular na hula kung ano ang nasa pangalan ng talaksan, basahin ang metadata.Larawan general.basenameHindi ko alam.general.size_labelHindi ko alam.general.finetune Ito'y awtoridad.

V. Q4 K M: Ang pinakamahabang bahagi ng pangalan ng talaksan ay ang compression rate

Ito ang isa na lubhang nakaaapekto sa iyong karanasan sa pagsasagawa, at ang isa na hindi nilinaw ninuman.Ipinakikita nito kung gaano kalaki ang naging timbang.

llama.cpp Official CASME ginamit ang Llama-3.1-8B upang gumawa ng makatotohanang surbey, at kumuha ako ng dalawang hakbang (orihinal na modelo 32.1 GB):

Kuwalipikasyon	mga bit/kanan	Pagdami ng Larawan	Bilis ng Pag - aanak
IQ1 S	2.00	1.87 GiB	79.7 t/s
Q2 K	3.16	2.95 GiB	79.9 t/s
Q3 K M	4.00	3.74 GiB	76.7 t/s
Q4 K M	4.89	4.58 GiB	71.9 t/s
Q5 K M	5.70	5.33 GiB	67.2 t/s
Q8 0	8.50	7.95 GiB	50.9 t/s
F16	16.00	14.96 GiB	29.2 t/s

Ang Q4 K M ang nagiging talaksang default ng pamayanan sa lahat ng mga kadahilanan sa mesang ito:4.89 Bits/weights, na may backlog na 30% ng F16, na 2.4 beses na mas mabilis.Hanggang Q8 0, ang volume ay nagdodoble at bumababa ng 30%, at ang kalidad ay nagbabago ng karamihan ng mga tao ay hindi alam; hanggang sa IQ1 S, ang volume ay mas mababa ng kaunti, at ang kalidad na panganib ay mas mataas.

Paano mo binabasa ang iyong pangalan?

• Reyna = Regular na pag - uuri;IQ = Ang materyalidad na matrix ay quantated (i-quant), na may mas mahusay na kalidad at bahagyang mas mabagal na bilis sa parehong digit.
• Mga Numero = target na mga numero. Ang Q4 ay 4 bit, ang Q8 ay 8 bit.
• K = k-quant, block quanification (block-wise), mas lumang _0 / _1 Ang serye ay mas detalyado.
• Si Jehova — Ang Pinagmumulan ng Kaligayahan = maliit/media/laki, halo-halong prekwensiya slot.M ang pumipili ng ilan sa sensitibong mga takip upang panatilihin itong mataas.Kaya ito rin ay Q4, ang K M ay medyo mas malaki sa K S.

May isa pang bagay na hindi alam ng maraming tao:Ang entipikasyon ay maaaring gawing nakaugalian sa isang case-by-case batay.Ang mga opisyal na kasangkapan ay sumusuporta sa katawagan ng iba't ibang uri ng tipo, tulad ng: attn_v at ffn_down Ang mga set nang hiwalay bilang Q5 K M, habang ang iba pa ay pinananatili bilang Q4 K M; ay sumusuporta rin sa pagtatakda sa pamamagitan ng isang regular na stage number. At iyan ang dahilan kung bakit ang parehong "Q4 K M" na uri ng file ay iba sa laki ng file na ginigipit ng mga tao.Ito ay isang default stratehiya, hindi tiyak na detalye.

VI. MTP: Isang maliit na module na tinatawag na "Guess susunod na salita".

Ito ang huling madaling gamiting modelo, sa katunayan.Mahalagang PapelHindi ko alam. Sa dokumento ng GGF mtp Binigyang - katuturan bilang Sidecar (isang maliit na module), na nagsasabi:

Multi-Tken Predation Headers, draft module para sa haka-haka decodering, dinisenyo upang maikarga ng mga baseng modelo na tumutugma sa arkitektura at mga bersyon.

Simple lamang:Hulaan natin ang susunod na ilang mga paunawa, at hayaang ang pangunahing modelo ay magkahanay.Tamang pag - aampon, maling pagbaba. Dahil ang beripikasyon ay palaging maaaring tumiyak ng maramihang mga paunawa, ang katamtamang pagbaba ng oras sa bawat patlang -- ito ang buong prinsipyo ng haka-hakang pag-iimbestiga.

Subalit may isang parirala sa dokumento na dapat tandaan nang husto sa bahaging ito:"Ang mga timbang ng MTP ay kadalasang nakaimpake nang direkta sa mga pangunahing modelo, kung saan ang kaso ay walang hiwalay na talaksang mtp-side".

Kaya ang tamang pagkaunawa ay:Oo. mtp- Ang mga unlapi, na nagpapahiwatig na ang mga ito ay nasa labas; walang nakakakita, ay hindi nangangahulugan na wala.Iyan ang dahilan kung bakit ang paghahanap ng MTP sa listahan ng modelo ay kadalasang hindi matatagpuan -- nasa pangunahing file na ito.

Ang isa pang Sidecar ay... mmproj( Floodmodal projector, multimodular projector), visual at audio regulator plus projection layer.Ito ay karaniwang isang stand-alone na dokumento na dapat ikarga ng isang base model.Kaya kung maglalagay ka ng isang multi-mode model ng GGF at malalaman mo na hindi mo makikita ang mapa, malamang na wala itong mmproj file.

VII. Buong pagbasa sa limang karakter

Lahat ng nabanggit ay isang kumpletong pagbasa. Ipagpalagay nang makita mo ang pangalang ito ng talaksan:

mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf

Snippet	Aling palapag ito?	Mga Pahiwatig
mtp-	Papel na Papel	Kailangang itugma ng nakakabit na pala - palagay na decodement module ang pangunahing modelo
Qwen3	Modelong Pagkakakilanlan	Baseng Modelong Pangalan
30B	Laki	Kabuuang parameter 30 bilyon Ipinasiya kong huwag magkunwari.
A3B	Mga kalkulasyon	Tatlong bilyon sa isang panahon. Gaano kabilis mong ipinasiyang tumakbo?
v1.0	Bersiyon	Bersiyon ng Timbang
Q4_K_M	Pagkawasak	4.89 bits/bigat, katamtamang timplang prekwensiya
.gguf	Mga Maybahay	Kay llama.cpp.

Isang sumaryo ng dokumento:Isang kabuuang parameter na 30 bilyon at isang modelong MoE na 3 bilyon sa isang panahon ang ipinilit sa humigit - kumulang 4.9 na mga lugar sa lalagyan ng GGUUF, na may karagdagang haka - hakang decoded sneakle module.

VIII. Apat sa pinakakaraniwang maling pagbasa

1. Isaalang - alang ang A3B bilang isang modelong 3B.Hindi ito alaala. 30B ang may gayunding timbang, at makikita pa rin ang 4GB.
2. E4B bilang isang "4B maliit na modelo".Ito ang pinakamalaking set ng mga modelong elastiko. Ang E4B ay naglalaman ng lahat ng mga parameter ng E2B. Low-fit dito press 2B, hindi 4B run.
3. Gamitin ang GGF bilang modelo.Ang parehong modelo ay maaaring F16, Q8 0, Q4 K M ilang GGUFs.Ang GGUF ay isang lalagyan at ang quanipikasyon ay nilalaman.Ang pagtatanong ng "Q4 at GGUF good" ay tulad ng pagtatanong ng "Ang bote at ang tubig mabuti."
4. Ang post na ito ay bahagi ng aming espesyal na coverage Syria Protests 2011.Ang opisyal na pahayag na ang kasunduan ay hindi lubusang posible. Huwag isulat ang regular na tuntunin upang ma-access ang metadata ng file na may tumpak na impormasyon.

At mayroong nakatagong ikalima:Ilagay 8x7B Basahin ang 7B.Iyan ay "8 eksperto sa bawat 7B." Kabuuan 56B. Sa GGUF <expertCount>x<count> Ang x ay ang pagpaparami.

IX. LAYUNIN NG PRACTICAL ADJUSTMENTS

Sa wakas, magbigay ng pagkakasunud - sunod na maaaring sundin. Tingnan ang anumang huwarang pangalan at tanungin ang iyong sarili sa ganitong pagkakasunud - sunod:

1. Unang tingnan ang mga lalagyan at ang quantify..gguf + Q4_K_M Nangangahulugan ito na ito ay isang lokal na run-off na maramihang bersyon, at ang kalidad at volume ay itinakda na sa oras ng paglabas.
2. Basahing muli ang kabuuang mga parameter.Magpasiya kung sapat na ang iyong pagkanaroroon/RAM. Mahirap itong gawin. Hindi ito sapat.
3. Tingnan kung ito ay Moe.Mayroon. A??B Ang paglalarawan ay batay sa mga parameter na pangmedisina, subalit ang memorya ay batay pa rin sa kabuuang mga parameter.
4. Tingnan kung may unlapi ang E.Mayroon. E Ito'y nagpapakita na ito'y isang elastikong modelo at na ang aktuwal na pagkanaroroon ay maaaring mababa pa sa nominal na halaga - ito ang tumitiyak kung ito'y maaaring gumamit ng cell phone.
5. Huling tingnan ang Sidecar.Mayroon. mmproj- Tandaan na magsama - sama; oo. mtp- Tandaan ang pagtutugma; ni nangangahulugan man ito na walang mabilis na pagkilos.

Ang huwarang pangalan ay hindi isang dulang parameter, kundi isang tatak. Ang etiketa ay gumagana upang ilayo ka sa susunod na maling talaksan, hindi upang kalkulahin ang iskor nito.

Lagi itong tumatakbo. Ngunit upang mabasa nang tama ang tatak, sa paano man malalaman mo bago i-download ang 15-GB na hindi ito mai-install...Nakatitipid ito ng panahon, higit kaysa anumang iskor.