B、GGUF、MTP、A3B、E4B:モデル名の5文字が1つではなく、 はい。
混乱の半分を節約する結論から始めましょう。これら5つのことは、すべての同じ寸法でありません。B は、A3B と E4B は "quantity", GGUF はコンテナです。MTP はプラグインです。 実際、彼らは完全に異なる質問に答えます。
労働の特定分裂は次のとおりです。「B、」「どうなるか」「A3B」「どれだけの作業」「E4B」「どれだけの記憶にあるか」「GGUF」「その中にあるもの」「MTP」「どのように加速するのか」同時に表現する必要があるため、4つまたは5つの文書が同時に現れます。しかし、同じタイプの情報として扱われるとき、混乱はしばしば起こります。
1、B:わずか10億です。
B は億億億億億億億億億ドルの億ドルを占める。7B 7億ドルのパラメータです。235B 資本金 235億円 GGUF名コードのスケール接頭辞のセットです。K 千と千M 百万、B 100億ドルT ドルの兆し,Q 請求。
最も単純なもののように見え、実際には3つの完全に異なる意味を持っています。 これは、クリアすべき最初のことです。
| ライティング | 意味する | 何かを決める? |
|---|---|---|
30B | 全体的な変数: 完全な重量 | 再生できますか?(ディスク、可視) |
30B-A3B | 総30Bの単一の活発化3B | どのように高速? どのように高価? |
E4B | 有効な変数: 操作の時に実際の存在 | 電話での走行は可能ですか? |
これらの3行を一緒に見れば、30Bモデルが携帯電話上で実行できるという結論が得られるでしょう。正しいかも知れませんが、思った30Bと同じではありません。
II. A3B: 一般的なパラメータと有効化パラメータは、一度ではありません。 はい。
これはMoE. Qwen3のモデルの名前について非常に明確です。Qwen3-235B-A22Bは、「233.5億合計パラメータ、22億有効パラメータ」の大型モデルで、Qwen3-30B-A3Bは「30億合計パラメータ、3億有効パラメータ」の小さなMoEです。
技術的な細部はまた特定です:30B-A3Bに48の床、Q/KVの頭部の計算32/4があります8 人の 128 人の専門家は活動化させました, コンテキスト 128K. 235B-A22Bは94階、64/4の頭部、また128人の専門家によって活動化させる8です。
つまり、このマークの実際の意味は A3B です。30B、速度3Bを表示します。
これは、すべてのモエのテンプテーションです, 誤解のすべてのソース.記憶ではなく、お金を節約できます。多くの人がA3Bを見て、3Bモデルだと思うので、4GBマシンに搭載され、読み込めることは不可能です。 体重のどれも小さいですが、前方計算のすべてではありません。
GGF の sizeLabel を無視するのは簡単です。 <expertCount>x<count><scale-prefix>♪とそう♪ 8x7B これは、合計56Bの合計で「8の専門家x 7B」と呼ばれます。これは、乗算エリプシや乗算です。Mixtral-8x7Bは「7Bモデル」として解釈され、実際の合計パラメータは56Bです。
3。 E4B:E は「より小さい」ではないです有効です
これは完全に読む最も簡単なの一つです。 ジェムマ3nの文書は明確です:
ジェムマ3nモデルのパラメータマーク(例:E2B、E4B)以上実際にモデルに含まれているパラメーターの合計量。 E 接頭辞は、これらのモデルは「非アクティブパラメータ」のセットで実行できることを意味します。
どんなところに? ドキュメントは番号を与えます。E2B規格は、アクティブメモリの負荷を1.91Bに押すために、パラメータで5億以上のパラメータ、スキッピング、PLEキャッシュをロードすることによって実装されています。
この文章の主な単語に注意してください。モデル自体は小さくならず、実行中に存在の観点で小さくなっています。
これは2つのメカニズムによって達成することができます:
- PLE Cache (Per-Layer Embeding).埋め込まれたパラメータの各レイヤーは、モデルメモリから別々に生成され、実行時に各レイヤーにキャッシュされ、各レイヤーに追加されます。これは、メモリのパラメータのこの部分を要求する等しいです。
- マットフォーマー。大規模なモデル内で埋め込まれるいくつかの小さなモデルがあります。, 誘発時に外部パラメータを有効にする必要はありません。. 2Bと4Bの中間部までお持ちください。
これは偽りのない事実につながる:E4B には、E2B のすべてのパラメーターが含まれています。2つのスタンドアローンモデルではなく、同じ弾性モデルの2つのスロット。 「E4Bは4Bの小さなモデル」ではなく「E4B」ではなく、E4Bは4Bに上がる最高の力が付いている伸縮性があるモデルです。どこに行っても気に入っていません。
これは、「私の機器上で実行することができます」という判断に大きな影響を与えています。E4B は、低設備機器で E2B のような E2B を実行し、高設備機器で 4B に拡大することができます。A3Bにはこの弾力性はありません。30Bなので、コストを節約できます。
IV. GGUUF:モデルではなく、モデルボックスです。
最初の3は、GGUFから寸法を変更したモデルのサイズです。ファイルの形式です。GGUUFは、GGMLおよびその実装者(llama.cpp)のモデルストレージフォーマットです。
GGML、GGMF、GGJT、3世代のフォーマットを交換します。 正式な設計目標は4つで、それぞれが過去の痛み点に対応します。
| 設計目的 | 何かに対処する? |
|---|---|
| 単一ファイル展開 | 追加の文書は必要ありません。直接の配布と読み込み |
| 拡張可能 | 新しいメタデータを追加すると、古いモデルの互換性を損なわない |
mmap 互換性 | 記憶地図のローディング、速く |
| 完全な情報 | 読み込む必要があるのはファイルです。 ユーザーは、それを供給する必要はありません。 |
それとGGJTの最後の生成との間の重要な違いはただ一つの文ですが、それは鍵です。型のない値のリストから、メタデータへのキーに変更されます。このステップは「フィールドの不適合性を追加」することが可能になりました。フィールドを追加したら、すべての古いソルバーが変更されました。
どのようにしてそれを綴ったのですか?
正式なネーミングコードは:
[].gguf実際の例を見てみましょう。
mtp-Qwen3-27B-v1.0-Q4_K_M.ggufmtp-•サイドカー(バイラインモジュール、次のセクションを参照してください)Qwen3→ BaseName(ベースモデル名)27B→ サイズラベル(パラメータスロット)v1.0バージョン(バージョン)Q4_K_M符号化(重量の符号化/量化)
よく知られていない2つのコンポーネントがあります。
- タイプ。: : :
LoRAつまり、完全なモデルではなく、アダプターです。vocab語彙ファイルを示します。 - シェード。: : :
00003-of-00009fraction, 3rd of 9 注意を表示発行は00001から始まります00000 ではありません。
規範には重要な免責事項もあります。「野生で完全に解読できない」と呼びます。既存のggufファイルが多すぎるため。つまり、ファイル名に何かの通常の推測を記述し、メタデータを読み込みません。ファイル general.basenameお問い合わせgeneral.size_labelお問い合わせgeneral.finetune それは権威です。
V. Q4 K M:ファイル名の一番長い部分は圧縮率です
これは、ほとんどの練習であなたの経験に影響を与えるものであり、誰もクリアされていないもの。体重が定量化されていることを示します。
llama.cpp公式 README は、Llama-3.1-8B を使用して、実際の調査を行い、いくつかの手順(元のモデル 32.1 GB):
| 定量化 | ビット/右 | ファイル サイズ | 速度を発生させます |
|---|---|---|---|
| IQ1のS | 2.00 | 1.87 ジブ | 79.7 トン/秒 |
| Q2のK | 3.16 | 2.95 ジブ | 79.9 トン/秒 |
| Q3のKM | 4.00 | 3.74 ジブ | 71.7 トン/秒 |
| Q4のKM | 4.89 | 4.58 ジブ | 71.9 トン/秒 |
| Q5のKM | 5.70 | 5.33 ジブ | 67.2 トン/秒 |
| 質問8 0 | 8.50 | 7.95 ジブ | 50.9 トン/秒 |
| F16の特長 | 16.00 | 14.96 ジブ | 29.2 トン/秒 |
Q4 K M は、このテーブルのすべての理由でコミュニティのデフォルトファイルになります。4.89ビット/重量、F16の30%のバックログで、2.4倍速くなります。Q8 0 までのボリュームは 30% で倍増し、品質変化はほとんどの人が知らない; IQ1 S まで、ボリュームは少し少なく、品質リスクははるかに高い。
名前を読んでください。
- クイーン = 定期的な定量化;IQについて = 物質性行列は、同じ数字で、品質が向上し、わずかに速度が遅くなります。
- ナンバー = ターゲット数字。 Q4は4ビット、Q8は8ビットです。
- ログイン = k-quant, ブロック定量化 (block-wise), 古い
_0/_1詳細はシリーズをご覧ください。 - S / M / L = 小さい/媒体/大きい、混合された精密スロット。M はそれらの高い保つために敏感なふたのいくつかを選びます。なので、Q4、K MはK Sよりも若干大きいです。
多くの人が知らない別の事実があります:定量化は、ケースバイケースベースでカスタマイズできます。公式ツールは、以下のようなタイプの異なるタイプの指定をサポートしています。 attn_v そして、 ffn_down Q5 K M と別々に設定し、残りは Q4 K M として維持されます。また、定期的なバッチ番号で設定をサポートしています。 そのため、同じ "Q4 K M" のファイルの種類は、人々が圧力をかけているファイルのサイズと異なっています。正確な仕様ではなく、デフォルトの戦略です。
VI. MTP: 「次の単語を推測する」という小さなモジュール
実際にモデルとして使いやすい最後の1つです。ファイルロールタグお問い合わせ GGF ドキュメント mtp サイドカー(同梱モジュール)で定義される:
マルチトークン・プレデーション・ヘッダ、スペクティブ・デコーダリング用のドラフト・モジュール、ベース・モデル・マッチング・アーキテクチャとバージョンをロードするように設計されています。
それは簡単です:次の数のトークンを推測し、メインモデルを並列で実行してみましょう。右の直接採用、間違った低下。 検証は、常に複数のトークンを確認できるため、トークンごとの時間の平均低下 - これは、分光分解の原則です。
しかし、このセクションで最も記憶されるべき文書にはフレーズがあります。「MTP の重量は、mtp 側ファイルがない場合には、基本モデルに直接梱包されます。」
そのため、正しい理解は:お問い合わせ mtp- プレフィックスは、彼らが外側にあることを示します。 見ていない、誰が誰を意味しません。そのため、モデルリストでMTPを探すのはしばしば見つかりません。これは既にメインファイルにあります。
他のサイドカーは... mmproj(立体プロジェクター、多角プロジェクター)、視覚および可聴周波エンコーダーおよび投影の層。これは、通常、ベースモデルでロードしなければならないスタンドアローン文書です。そのため、GGFのマルチモードモデルを置き、マップが見つからない場合は、おそらくmmprojファイルが見つかりません。
VII。 5文字のフルリーディング
上記のすべては完全な読書です。 このファイル名が表示されます。
mtp-Qwen3-30B-A3B-v1.0-Q4_K_M.gguf| スニペット | どのフロアですか? | アノテーション |
|---|---|---|
mtp- | ファイルの役割 | 付属の分光式デコーデメントモジュールは、メインモデルと一致する必要があります |
Qwen3 | モデル アイデンティティ | 基礎モデル名 |
30B | サイズ: | 総変数 30億 ふりがならずに決めました。 |
A3B | 計算する | 3億ウォン 走る速度は? |
v1.0 | バージョン | 重量版 |
Q4_K_M | ストレージ | 4.89ビット/重量、中型の混合物の精密 |
.gguf | コンテナ | llama.cpp へ。 |
ドキュメントの概要:GGUUFコンテナに約4.9ヶ所の場所に一度に30億のMoEモデルとMOREモデルが加わりました。
VIII. 最も一般的な誤読の4つ
- A3Bを3Bモデルとして検討してください。記憶ではありません。 30Bは重量が減りず、4GBはまだ見られます。
- E4Bを「4B小型モデル」とする。弾性モデルの最大のセットです。 E4B には E2B のすべてのパラメーターが含まれています。 2B ではなく 4B が実行されるのに低料金です。
- GGF をモデルとして使う。同じモデルはF16、Q8 0、Q4 K Mの複数のGGUUFsである場合もあります。GGUFはコンテナであり、定量化はコンテンツです。「Q4とGGUFの良さ」を「ボトルと水がいい」と聞いてみたいです。
- この投稿は、私たちの特別なカバレッジシリアプロテス2011の一部です。取引が完全に合法でない正式な声明。 正確な情報でファイルのメタデータにアクセスするために規則的なルールを記述しないでください。
そして隠された第5番目があります:ふりがな 8x7B 7Bを読んで下さい。「7Bごとの8人の専門家」です。 合計56B。 GGUFで <expertCount>x<count> x は乗算です。
IX. 開業医の目的
最後に、続くことができる順序を与えます。 任意のモデル名を見て、この順序で自分自身を尋ねます:
- コンテナを見て、定量化します。
.gguf+Q4_K_Mこれは、ローカルの実行オフのマスバージョンであり、品質とボリュームはリリース時に既に設定されていることを意味します。 - 全体的な変数を再度読んで下さい。プレゼンス/RAMが十分かどうかを決定。 硬いししきいしです。 十分ではありません。
- Moe かどうかを参照してください。はい。
A??B説明はアクティベーションパラメータに基づいていますが、メモリは合計パラメータに基づいています。 - E 接頭辞がある場合を参照してください。はい。
Eこれは、弾性モデルであり、実際の存在がわずかな値の下にある可能性があることを示しています。これは、携帯電話にアクセスできるかどうかを決定します。 - サイドカーの最終外観はい。
mmproj-一緒に来ることを忘れないでください。 はい。mtp-マッチングを忘れないでください。アクセラレーションがないという意味ではありません。
モデル名はパラメータテーブルではなく、ラベルです。 ラベルは、そのスコアを計算するのではなく、次の間違ったファイルからあなたを保つために働きます。
いつも走っています。 しかし、ラベルを正しく読み込むためには、少なくとも15GBをダウンロードする前に知っておくでしょう。この保存時間、任意のベンチマークスコアよりも。