B, GGUF, MTP, A3B, E4B: De fem tegnene i modellnavnet, ikke ett. Ja.

La oss begynne med en konklusjon som sparer halvparten av forvirringen:Disse fem tingene er ikke i alle de samme dimensjonene.B er ordet, A3B og E4B er "kvantiteten", GGUF er beholderen, MTP er plugin. De svarer faktisk på et helt annet spørsmål.

Den spesifikke arbeidsdelingen er som følger:"B, " " Hvor stor, "A3B, " " " Hvor mye fungerer," "E4B, " " " "how hvor mye er egentlig i minnet, " "GGUF, " "WhatWhat Hva er i det," "MMTP, " " " "howhowhow hvordan akselererer det."Fire eller fem dokumenter vises samtidig fordi de trenger å uttrykkes samtidig - men forvirring oppstår ofte når de behandles som den samme typen informasjon.

En, B: Det er bare en milliard.

B er milliarder.7B Det er en 7 milliarder dollar parameter.235B Det er 235 milliarder. Det er et sett av skaleringsprefiks i GGUF-navnkoden:K TusenvisM Millioner,B En milliard.T milliarder dollar,Q Billioner.

Ser ut som den enkleste, faktisk har tre helt forskjellige betydninger. Dette er det første som skal være klart:

Skrive	Betydning	Avgjør hva?
30B	Samlet parametre: full vekt	Kan du spille det?(disk, synlig)
30B-A3B	Totalt 30B, enkelt aktivering 3B	Hvor raskt? Hvor dyrt?
E4B	Gyldige parametere: faktisk tilstedeværelse på tidspunktet for drift	Kan du løpe i telefonen?

Hvis du ser på disse tre linjene sammen, får du den konklusjonen at 30B-modellen kan kjøres på en mobiltelefon.Det kan være riktig, men det er ikke det samme som 30B du trodde det var.

II. A3B: Generelle parametere og aktiveringsparametre er ikke en gang Ja.

Dette er fra MoE. Qwen3 er veldig klart om navnene på modellene:Qwen3-235B-A22B er en stor modell på "233,5 milliarder totale parametere, 22 milliarder aktiverte parametere", og Qwen3-30B-A3B er en liten MoE på "30 milliarder totale parametre, 3 milliarder aktiverte parametre".

Tekniske detaljer er også spesifikke: 30B-A3B har 48 etasjer, Q/KV hodetelling 32/48 av 128 spesialister aktivert, kontekst 128K. 235B-A22B er 94. etasje, 64/4 hodet, også 128 eksperter aktivert 8.

Så, A3B, den faktiske betydningen av dette merket er:Viser 30B, hastighet 3B.

Det er all fristelsen til Moe, alle kilder til misforståelse.Du sparer penger, ikke minne.Mange mennesker ser A3B og tror det er en 3B-modell, lastet på en 4GB-maskin, og deretter finner det umulig å laste. Ingen av vektene er små, men ikke alle fremre beregninger.

Sammen med en enkel å ignorere skriving: SizeLabel of GGF er <expertCount>x<count><scale-prefix>Og så 8x7B Dette kalles "8 eksperter x 7B", i alt 56B.Det er enten en multiplikasjon ellipse eller en multiplikasjon.Mixtral-8x7B blir ofte feiltolket som en "7B-modell" og den faktiske totale parameteren er 56B.

III. E4B:E er effektiv, ikke "mindre"

Dette er en av de enkleste å lese helt. Gemma 3ns dokument er klart:

Parametermerker for Gemma 3n-modellen (f.eks. E2B, E4B)Mindre ennDen totale mengden parametre som faktisk er inkludert i modellen. E-prefiks indikerer at disse modellene kan kjøres med et sett med mindre aktive parametere.

I hvilken grad? Dokumentet gir nummeret:E2B-standarder implementeres ved lasting av mer enn 5 milliarder parametre, hopping og PLE-kache ved parametre for å trykke den aktive minnelasten til 1.91B.

Legg merke til de viktigste ordene i denne setningen:Selve modellen er ikke blitt mindre, den er blitt mindre i form av sin tilstedeværelse mens den kjører.

Dette kan oppnås gjennom to mekanismer:

• PLE Cache (Per-Layer Embeding).Hvert lag av innebygde parametre kan genereres separat fra modellminnet, cached til en rask lokal lagring og legges til hvert lag når det kjører.Dette er det samme som å spørre denne delen av parameteren ut av minnet.
• MatFormer.Det er flere små modeller innebygd i en stor modell, som ikke trenger å aktivere ytre parametre når deduseres. Du kan ta alle mellom 2B og 4B.

Dette fører til et kontraintuitivt faktum:E4B inneholder alle E2B-parametre.Ikke to frittstående modeller, to spor for samme elastiske modell. Så det eksakte uttrykket er ikke -E4B er en 4B liten modell - men -E4B -E4B er en elastisk modell med maksimal effekt på 4B.Jeg går ingen steder.

Dette har stor innvirkning på dommen som " kan jeg kjøre på utstyret mitt":E4B kan kjøre E2B-lignende på lavt utstyr og utvide til 4B på høyutstyrsutstyr.Og A3B har ikke denne elastisiteten - det er 30B, det er bare kostnadsbesparende.

IV. GGUF: Det er ikke en modell, det er en modell boks.

De tre første er størrelsen på modellen, som har endret dimensjonene fra GGUF:Dette er filformatet.For å være nøyaktig er GGUF et modelllagringsformat for GGML og dets implementator (llama.cpp).

Den erstatter GGML, GGMF, GGJT, tre-generasjonsformat. De offisielle designmålene er fire, som hver tilsvarer et tidligere smertepunkt:

Designmål	Ta vare på hva?
En fil distribusjon	Ingen ekstra dokumentasjon kreves, direkte distribusjon og lasting
Utvidbar	Å legge til nye metadata undergraver ikke kompatibiliteten til gamle modeller
mmap Kompatibilitet	Minnekart Laster inn, raskt
Fullstendig informasjon	Alt du trenger å laste er i filen. Brukerne trenger ikke å gi det.

Nøkkelforskjellen mellom den og den siste generasjonen av GGJT er bare én setning, men det er nøkkelen:Hyperparameteren endres fra en liste over verdier uten type til en nøkkel til metadata.Dette trinnet gjorde det mulig å legge til feltkompatibilitet - når et felt var lagt til, måtte alle gamle løsere endres.

Hvordan stavet du det?

Den offisielle navnekoden er:

[].gguf

Ta et ekte eksempel.

mtp-Qwen3-27B-v1.0-Q4_K_M.gguf

• mtp- • Sidebil (bylinjemodul, se neste avsnitt)
• Qwen3 → Basenavn (basemodellnavn)
• 27B → StørrelseLabel (parameterspor)
• v1.0 Versjon (versjon)
• Q4_K_M Koding (vektkoding/beregning)

Det er to komponenter som ofte ikke ser ut til å være kjent:

• Type.:)LoRA Det betyr at det er en adapter, ikke en komplett modell;vocab indikerer ordforrådsfilen.
• Shad.:)00003-of-00009 Viser fraksjonen, 3. av 9 oppmerksomhet.Nummereringen starter på 00001Ikke 00000.

Det finnes også en viktig fraskrivelse i normen:Det kalles ikke å være helt deciferable i naturen.Fordi den eksisterende gguf-filen er for forskjellig.Så ikke skriv en vanlig gjetting om hva som er i filnavnet, les metadata.Fil general.basenameJeg vet ikke.general.size_labelJeg vet ikke.general.finetune Det er myndighet.

V. Q4 K M: Den lengste delen av filnavnet er kompresjonshastigheten

Dette er den som mest påvirker din erfaring i praksis, og den som ingen har gjort klart.Det indikerer hvor mye vekt som er kvantifisert.

llama.cpp Offisiell README brukte Llama-3.1-8B til å foreta en faktisk undersøkelse, og jeg tok et par skritt (opprinnelig modell 32,1 GB):

Kvantifikasjon	Bits/høyre	Filstørrelse	Generer hastighet
IQ1S	2.00	1.87 GiB	79.7 t/s
Q2 K	3.16	2.95 GiB	79,9 t/s
Q3 K M	4.00	3.74 GiB	71.7 t/s
Q4 K M	4.89	4.58 GiB	71.9 t/s
Q5 K M	5.70	5.33 GiB	67.2 t/s
Q8 0	8.50	7.95 GiB	50,9 t/s
F16	16.00	14.96 GiB	29,2 t/s

Q4 K M blir samfunnsstandardfilen av alle grunner i denne tabellen:4.89 Bits/vekter, med en baklogg på 30% av F16, som er 2,4 ganger raskere.Opp til Q8 0, volumet dobler og faller med 30 %, og kvaliteten endrer de fleste ikke vet; ned til IQ1 S, volumet er litt mindre, og kvalitetsrisikoene er mye høyere.

Hvordan leser du navnet ditt?

• Dronning = Regelmessig kvantifisering;IQ Materialitetsmatrisen er kvantifisert (i-kvante), med bedre kvalitet og litt langsommere hastighet i de samme sifferene.
• Tal = målsiffer. Q4 er 4 bit, Q8 er 8 bit.
• K = k-kvante, blokkkvantifisering (blokkvis), eldre _0 / _1 Serien er mer detaljert.
• S / M / L = liten/media/stor, blandet presisjonsspor.M plukker ut noen av de sensitive lokkene for å holde dem høye.Så det er også Q4, K M er litt større enn K S.

Det er et annet faktum at mange ikke vet:Kvantifikasjon kan tilpasses fra tilfelle til tilfelle.Offisielle verktøy støtter betegnelsen av forskjellige typer etter type, som: attn_v og ffn_down Setter separat som Q5 K M, mens resten opprettholdes som Q4 K M; støtter også innstilling av et regelmessig batchnummer. Og det er derfor den samme "Q4 K M" filtypen er forskjellig fra størrelsen på filen som folk trykker på.Det er en standardstrategi, ikke en nøyaktig spesifikasjon.

VI. MTP: En liten modul kalt "Guess neste ord"

Det er den siste som er enkel å bruke som modell, faktisk.FilrollemerkeJeg vet ikke. I GGF-dokumentet mtp Definiert som Sidecar (samarbeidsmodul), som angir:

Multi-token Predasjon Heads, utkast modul for spekulativ dekodering, designet for å bli lastet med grunnmodeller som matcher arkitektur og versjoner.

Det er enkelt:La oss gjette på de neste pollettene, og la hovedmodellen kjøres parallelt.Rett direkte adopsjon, feil fall. Siden verifisering alltid kan bekrefte flere polletter, er det gjennomsnittlige dråpe i tid per token - dette er hele prinsippet om spekulativ dekodering.

Men det er en frase i dokumentet som bør huskes mest i dette avsnittet:"MTP vekter er ofte pakket direkte i grunnleggende modeller, i hvilket tilfelle det ikke er noen separat mtp-side fil".

Den riktige forståelsen er:Ja. mtp- Forutsetninger, som indikerer at de er på utsiden; ingen sett, betyr ikke noe.Derfor er det ofte ikke funnet at det er i hovedfilen å lete etter MTP i modelllisten.

Den andre siden er... mmproj(multimodal projektor, multimodulal projektor), visuell og lydkoder pluss projeksjon lag.Dette er vanligvis et frittstående dokument som må lastes med en grunnmodell.Så hvis du legger ned en flermodus modell av GGF og du finner ut at du ikke kan se kartet, er det sannsynligvis mangler mmproj-filen.

VII. Full lesing av fem tegn

Alt det ovennevnte er en fullstendig lesing. Anta at du ser dette filnavnet:

mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf

Knull	Hvilket gulv er det?	Annotasjoner
mtp-	Filrolle	Den vedlagte spekulative dekoderingsmodulen må matche hovedmodellen
Qwen3	Modellidentitet	Basemodellnavn
30B	Størrelse	Samlet parameter 30 milliarder Jeg har bestemt meg for ikke å late som.
A3B	Beregn	Tre milliarder i tiden. Hvor raskt bestemte du deg for å løpe?
v1.0	Utgave	Vektversjon
Q4_K_M	Oppbevaring	4.89 bit/vekt, medium blanding presisjon
.gguf	Beholdere	Til lama.cpp.

Sammendrag av dokumentet:En total parameter på 30 milliarder og en MoE-modell på 3 milliarder om gangen ble presset til ca. 4,9 plasser i GGUUF-beholderen, med en ytterligere spekulativ dekodet akselerasjonsmodul.

VIII. Fire av de vanligste feilene

1. Tenk på A3B som en 3B-modell.Det er ikke minne. 30B har ikke mindre vekt, og 4GB er fortsatt synlig.
2. E4B som en liten modell".Det er det største settet av elastiske modeller. E4B inneholder alle parametrene til E2B. Lav passform på det trykk 2B, ikke 4B kjøre.
3. Bruk GGF som modell.Den samme modellen kan være F16, Q8 0, Q4 K M flere GGUFs.GGUF er en beholder og kvantifisering er innhold.Å spørre " Q4 og GGUF godt" er som å spørre " flasken og vannet godt."
4. Denne artikkelen er en del av vår spesialdekning Syria Protests 2011.Den offisielle uttalelsen om at avtalen ikke er fullstendig lesbar. Ikke skriv den vanlige regelen for å få tilgang til metadataene til filen med nøyaktig informasjon.

Og det er en skjult femte:Sett 8x7B Les 7B.8 eksperter hver 7B Totalt 56B. I GGUF <expertCount>x<count> x er multiplikasjonen.

IX. Henvisning til PRACTISKE ADJUSTSJONER

Til slutt, gi en sekvens som kan følges. Se på ethvert modellnavn og spør deg selv i denne rekkefølgen:

1. Se først på beholdere og kvantifisering..gguf + Q4_K_M Dette betyr at det er en lokal avkjøring masse versjon, og kvaliteten og volumet er allerede satt på tidspunktet for utgivelse.
2. Les de generelle parametrene igjen.Bestem om tilstedeværelse/RAM er tilstrekkelig. Det er en vanskelig terskel. Det er ikke nok.
3. Se om det er Moe.Ja. A??B Beskrivelsen er basert på aktiveringsparametre, men minne er fortsatt basert på totale parametere.
4. Se om det finnes et E-prefiks.Ja. E Dette indikerer at det er en elastisk modell og at den faktiske tilstedeværelse kan være godt under den nominelle verdien - dette bestemmer om den kan få tilgang til mobiltelefonen.
5. Siste titt på Sidecar.Ja. mmproj- Husk å komme sammen, ja. mtp- Husk å matche; det betyr heller ikke at det er ingen akselerasjon.

Modellnavn er ikke en parametertabell, men en etikett. Merket fungerer for å holde deg borte fra den neste feil fil, for ikke å beregne sin score.

Det løper alltid. Men for å lese etiketten riktig, vet du i det minste før du laster ned 15-GB at det ikke kan installeres...Dette sparte tid, mer enn noen benchmark score.