B, GGUF, MTP, A3B, E4B: Петте символа в името на модела, а не един. Да.

Да започнем със заключение, което спестява половината от объркването:Тези пет неща не са еднакви измерения.B е думата, A3B и E4B е "количество," GGUF е контейнер, MTP е плъгин. Всъщност, те отговарят на съвсем различен въпрос.

Специфичното разделение на труда е следното:"Б," "Колко голяма," "А3Б," "Колко работа," "Е4Б," "колко всъщност е в паметта," "ГГУФ," "Какво има в нея," "МТП," "как се ускорява."Четири или пет документа се появяват едновременно, защото те наистина трябва да бъдат изразени едновременно, но объркване често се случва, когато те се третират като един и същ вид информация.

Първо: това е само милиард.

B е милиард, милиард.7B Това е параметър за 7 милиарда долара.235B Това са 235 милиарда. Това е набор от настройки в GGUF име код:K ХилядиM Милиони.B Един милиард.T трилиони долари,Q Милиарди.

Изглежда най-простата всъщност има три напълно различни значения. Това е първото нещо, което трябва да бъде ясно:

Запис	В смисъл	Какво да реша?
30B	Общи параметри: пълно тегло	Можеш ли да я пуснеш?(диск, видим)
30B-A3B	Общо 30B, еднократно задействане 3B	Колко бързо? Колко скъпо?
E4B	Валидни параметри: действително присъствие по време на експлоатация	Можеш ли да тичаш по телефона?

Ако погледнете тези три линии заедно, ще получите заключението, че модел 30В може да работи на мобилен телефон.Може и да е вярно, но не е същото като 30-Б, което си мислеше, че е.

II. A3B: Общите параметри и параметрите на активиране не са нито веднъж Да.

Това е от MoE. Qwen3 е много ясно за имената на моделите:Qwen3-235B-A22B е голям модел от "233,5 милиарда общи параметри, 22 милиарда активирани параметри," а Qwen3-30B-A3B е малък MoE от "30 милиарда общи параметри, 3 милиарда активирани параметри."

Технически детайли също са специфични: 30B-A3B има 48 етажа, Q/KV брой глави 32/48 от 128 специалисти активирани, контекст 128К. 235B-A22B е 94 етаж, 64/4 глава, също 128 експерти активирани 8.

Така че, A3B, действителното значение на тази марка е:Показания 30B, скорост 3B.

Това е изкушението на MoE, всички източници на недоразумение.Спестяваш пари, не памет.Много хора виждат A3B и мислят, че това е 3B модел, натоварен на 4GB машина, и след това го намират за невъзможно да се зареди. Нито едно от тежестите не е малко, но не всички от предните изчисления.

Заедно с лесно да се игнорира писането: SizeLabel на GGF е <expertCount>x<count><scale-prefix>♪ И така ♪ 8x7B Това се нарича "8 експерти x 7B," общо 56B.Това е или умножение или умножение.Mixtral-8x7B често се тълкува погрешно като "7B модел," а действителният общ параметър е 56B.

III. E4B:E е ефиктивен, а не "малък"

Това е един от най-лесните за четене напълно. Документът на Джема 3n е ясен:

Маркировки на параметрите за модела Gemma 3n (напр. E2B, E4B)По-малко отОбщият размер на параметрите, действително включени в модела. Представката E показва, че тези модели могат да се изпълняват с набор от "по-малко активни параметри."

До каква степен? Документът дава номера:Стандартите E2B се прилагат чрез зареждане на повече от 5 милиарда параметри, прескачане и PLE кеша по параметри, за да натиснете активния товар на паметта до 1.91B.

Обърнете внимание на основните думи на това изречение:Самият модел не е станал по-малък, той е станал по-малък по отношение на присъствието си, докато работи.

Това може да бъде постигнато чрез два механизма:

• PLE Cache (Per-Layer Embeding).Всеки слой от вградени параметри може да се генерира отделно от паметта на модела, кешира до бързо локално съхранение и добавя към всеки слой при движение.Това е равно на искане на тази част от параметъра извън паметта.
• МатФормър.Има няколко малки модела вградени в голям модел, които не трябва да активират външни параметри, когато се заключи. Така че можете да вземете всяка средна между 2B и 4B.

Това води до контраинтуитивен факт:E4B съдържа всички параметри на E2B.Не два самостоятелни модела, два слота за един и същ еластичен модел. Точният термин не е "E4B е 4B малък модел," а "E4B."E4B е еластичен модел с максимална мощност до 4B.Няма да ходя никъде.

Това оказва голямо влияние върху преценката, че "може ли да тичам на оборудването си":E4B може да работи с E2B подобно на оборудване с ниско оборудване и да се разширява до 4B на оборудване с високо оборудване.А3В няма тази еластичност -- това е 30В, това е просто спестяване на разходи.

Не е модел, а модел.

Първите три са размерите на модела, който е променил размерите от GGUF:Това е файловия формат.За да бъдем точни, GGUUF е модел за съхранение на GGML и неговия изпълнител (lama.cpp).

Той заменя GGML, GGMF, GGJT, три поколение формат. Официалните цели на дизайна са четири, всяка от които съответства на минало място на болка:

Цели на проекта	С какво?
Разположение на един файл	Не се изисква допълнителна документация, директно разпределение и товарене
Разширим	Добавянето на нови метаданни не подкопава съвместимостта на старите модели
mmap Съвместимост	Зареждане на карта на паметта, бързо
Пълна информация	Всичко, което трябва да заредите е в досието. Потребителите не трябва да го доставят.

Ключовата разлика между него и последното поколение GGJT е само едно изречение, но това е ключът:Хиперпараметърът се променя от списък на стойности без тип на ключ към метаданни.Тази стъпка даде възможност да се "добави несъвместимост на полето," след като едно поле е било добавено, всички стари решения трябва да бъдат променени.

Как го написа?

Официалният код за име е:

[].gguf

Вземи истински пример.

mtp-Qwen3-27B-v1.0-Q4_K_M.gguf

• mtp- • Sidecar (байлайн модул, вижте следващия раздел)
• Qwen3 → BaseName (име на базовия модел)
• 27B → SizeLabel (паметър слот)
• v1.0 Версия (версия)
• Q4_K_M Кодиране (тегло кодиране/ количествено определяне)

Има два компонента, които не се срещат често:

• Пиши.:LoRA Означава, че е адаптер, а не пълен модел.vocab показва речника файл.
• Шад.:00003-of-00009 Показва дробта, 3-та от 9 Внимание.Номерирането започва от 00001Не 00000.

Има и важен отказ в норма:Нарича се "няма да бъде напълно дешифриран в дивата природа.", защото съществуващият gguf файл е твърде разнообразен.Така че не пишете редовно предположение какво има в името на файла, прочетете метаданните.Файл general.basenameНе знам.general.size_labelНе знам.general.finetune Това е авторитет.

V. Q4 K M: Най-дългата част от името на файла е скоростта на компресия

Това е този, който най-много засяга вашия опит в практиката и този, който никой не е дал ясно.Показва колко тегло е количествено.

lama.cpp Официален ReadME използва Llama-3.1-8B, за да направи фактически проучване, и аз направих няколко стъпки (първоначален модел 32.1 GB):

Количествено определяне	bits/right	Размер на файла	Генериране на скорост
IQ1 S	2.00	1. 87 GiB	79, 7 t/s
Q2 K	3.16	2. 95 GiB	79, 9 t/s
Q3 K	4.00	3. 74 GiB	71, 7 t/s
Q4 K	4.89	4, 58 GiB	71,9 t/s
Q5 K	5.70	5, 33 GiB	67,2 t/s
Q8 0	8.50	7. 95 GiB	50.9 t/s
F16	16.00	14. 96 GiB	29.2 t/s

Q4 K M става файл по подразбиране на общността поради всички причини в тази таблица:4.89 Бита/тегло, с backlog от 30% на F16, което е 2.4 пъти по-бързо.До Q8 0, обемът се удвоява и спада с 30%, а качеството се променя, което повечето хора не знаят; до IQ1 S обемът е малко по-малък и рисковете за качеството са много по-високи.

Как си четеш името?

• Кралица = редовно количествено определяне;IQ = Матрицата на материалността се определя количествено (i-quant), с по-добро качество и малко по-бавна скорост в същите цифри.
• Номера = целеви цифри. Q4 е 4 бита, Q8 е 8 бита.
• K = k-quant, block quantoration (block-wise), older _0 / _1 Серията е по-подробна.
• S / M / L = малък/медиен/голям, смесен прецизно слот.M избира някои от чувствителните капаци, за да ги държи високо.Така че това също е Q4, KM е малко по-голям от KS.

Има и друг факт, който много хора не знаят:Квалификацията може да бъде персонализирана за всеки отделен случай.Официалните инструменти подкрепят определянето на различни типове по видове, като: attn_v както и ffn_down Отделно се поставя като Q5 K M, докато останалата част се поддържа като Q4 K M; също така поддържа определянето чрез редовен партиден номер. Ето защо същият тип файл "Q4 KM" е различен от размера на файла, който хората притискат.Това е стратегия по подразбиране, а не точна спецификация.

VI. MTP: Малък модул наречен "Познай следващата дума"

Това е последният, който е лесен за използване като модел.Етикет за ролята на файлНе знам. В документа GGF mtp Определен като Sidecar (придружен модул), като се посочва:

Multi-Token Predation Headers, проект на модул за спекулативно декодиране, проектиран да бъде зареден с базови модели, отговарящи на архитектурата и версиите.

Просто е:Нека позная следващите няколко жетона, и нека основният модел работи паралелно.Правилното директно осиновяване, грешната капка. Тъй като проверката винаги може да потвърди множество символи, средният спад във времето на знак -- това е целият принцип на спекулативно декодиране.

Но има фраза в документа, която трябва да се запомни най-добре в този раздел:"MTP тежестите често са опаковани директно в основните модели, в който случай няма отделен MTP-страничен файл."

Правилното разбиране е:Да. mtp- Предписания, показващи, че те са от външната страна; не се вижда, не означава, че не.Ето защо търсенето на МТП в списъка с модели често не се открива -- то вече е в основния файл.

Другата кола е... mmproj(мултимодален проектор, многомодален проектор), визуален и аудио енкодер плюс проекция слой.Това обикновено е самостоятелен документ, който трябва да бъде зареден с базов модел.Така че, ако поставите мултимодален модел на GGF и разберете, че не можете да видите картата, вероятно липсва файла mmproj.

VII. Пълно четене на пет знака

Всичко това е пълно четене. Предполагам, че виждате името на файла:

mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf

Отливка	На кой етаж е?	Анотация
mtp-	Роля на файла	Прикаченият спекулативен модул за декодиране трябва да съответства на основния модел
Qwen3	Образец на идентичност	Наименование на базовия модел
30B	Размер	Общ параметър 30 милиарда Реших да не се преструвам.
A3B	Изчисляване	Три милиарда на път. Колко бързо реши да бягаш?
v1.0	Версия	Версия на теглото
Q4_K_M	Съхранение	4.89 бита/тегло, средна прецизност на сместа
.gguf	Контейнери	За Лама.

Резюме на документа:Общ параметър от 30 милиарда и модел на MoE от 3 милиарда в даден момент е бил притиснат до приблизително 4.9 места в контейнера GGUUF, с допълнителен спекулативен декодиран модул за ускорение.

VIII. Четири от най-честите погрешни четива

1. Считайте A3B като модел 3B.Не е спомен. 30B има не по-малко тегло, а 4GB все още е видим.
2. E4B като "4B малък модел."Това е най-големият набор от еластични модели. E4B съдържа всички параметри на E2B. Нискофункционално върху него натиснете 2B, а не 4B пробег.
3. Използвай GGF като модел.Същият модел може да бъде F16, Q8 0, Q4 K M няколко GGUUFs.GGUF е контейнер и количественото съдържание.Да питаш "Q4 и GGUF добро" е като да питаш "Бутилката и водата са добри."
4. Този пост е част от специалното ни покритие "Сирийски протести 2011."Официалното изявление, че сделката не е напълно четлива. Не записвайте редовното правило за достъп до метаданните на файла с точна информация.

И има една скрита пета:Сложи го. 8x7B Прочети 7Б.Това е "8 експерти на всеки 7Б." Общо 56Б. В GGUF <expertCount>x<count> Х е умножението.

IX. ЦЕЛ НА ПРАКТИЧЕСКИТЕ КОРЕКЦИИ

Накрая, дайте последователност, която може да се следва. Погледнете всяко име на модела и се запитайте в този ред:

1. Първо разгледай контейнерите и определи количествено..gguf + Q4_K_M Това означава, че това е местна масова версия и качеството и обемът вече са определени към момента на освобождаването.
2. Прочетете отново общите параметри.Решете дали вашето присъствие/RAM е достатъчно. Това е труден праг. Не е достатъчно.
3. Виж дали е Мо.Да. A??B Описанието се основава на параметрите на активиране, но паметта все още се основава на общите параметри.
4. Виж дали има представка.Да. E Това показва, че той е еластичен модел и че действителното присъствие може да бъде доста под номиналната стойност - това определя дали може да има достъп до мобилния телефон.
5. Последен поглед към Сайдкар.Да. mmproj- Не забравяйте да дойдете заедно, да. mtp- Не забравяйте съвпадение; нито пък означава, че няма ускорение.

Наименованието на модела не е таблица с параметри, а етикет. Етикетът работи, за да ви държи далеч от следващия грешен файл, а не за да изчисли резултата си.

Винаги работи. Но за да прочетете етикета правилно, поне ще знаете, преди да изтеглите 15-GB, че не може да бъде инсталиран...Това спести време, повече от всеки референтен резултат.