メモリ 8、16、32 GB で動かす Humanizer 12B：どの GGUF ファイルを落とすか

ローカルモデルを使う人の多くが直面する選択

メモリ 16 GB のノートパソコンで、ローカルのリライターを試したいとします。モデルのページを開くと、一つどころか六つものダウンロードがあり、3.9 GB から 23.8 GB まで、Q6_K や IQ2_XS-QAT といった名前が並んでいます。これは仮の話ですが、量子化モデルに初めて出会った人のほとんどが置かれる状況です。humanizer のカードはこの点で多くのものより親切で、各ファイルにサイズ、実測のピークメモリ、忠実度のスコア、事実チェックの件数を付け、それぞれ誰向けかをはっきり書いています。この記事ではその表を読み、各列の意味を説明します。モデル自体と、見出しの主張をどこまで信じてよいかについては、humanizer の数字が実際に語ることをご覧ください。

表

Top-1 一致率は、そのファイルの最も確からしい次トークンが完全な bf16 モデルと一致する割合で、英語と中国語の平均です。Flagged は、英語のリライト 420 件のうち、厳格な LLM 評価者が事実上の問題を見つけた件数です。ピークメモリは、作者が M5 Max の Metal 上で llama-server を使い、アプリの設定でリライトしている間に測った値です。数値はすべて作者のものです。

小さいファイルが、ただ圧縮しただけのコピーと違う理由

カードは一つの区別を示していて、表の中ほどから下のファイルが想像より健闘する理由がそこから分かります。大半の GGUF ファイルは llama-quantize を一度通して、すべての重みを目標の型に丸めたものだといいます。2 ビット、Q3、Q4_K_M のファイルはそれ以上のことをしています。2 ビットと Q3 のファイルでは、作者が重みテンソルごとに、圧縮したときのモデルへの悪影響の大きさを測り、敏感なテンソルにはビットを多く、頑健なテンソルには少なく割り当てました。そのうえで三つとも、層ごとに完全なモデルを再現するよう訓練しています。これが量子化を考慮した学習で、英語と中国語のリライトデータで完全な bf16 モデルから蒸留もしています。Q6_K と Q8_0 は標準のビルドです。この大きさでは取り戻せるものがほとんど残っていないと、カードは述べています。

カードによれば、効果は測定できます。2 ビットのファイルでは、同じ大きさの標準ビルドが bf16 と同じ次トークンを選ぶ割合は 70% です。追加の手順でこれが 81%、85%、87% と上がります。KL ダイバージェンスやファイルごとの事実チェックを含む詳細は、カードがリンクする量子化の文書にあり、私たちは検証していません。

結果は、最近の llama.cpp なら動かせる普通の GGUF ファイルです。作者のアプリに頼りたくない場合には、これが重要です。カードには、ファイルが別のリポジトリにあるため、既存のダウンロードコマンドもそのまま使えるとも書かれています。

メモリ別のおすすめ

カード自身の推奨は具体的で、表と合っています。32 GB 以上なら Q8_0 で、カードは推奨かつ最高品質としています。16 GB なら Q6_K で、カードは測定できる劣化はないとしています。約 14 GB、またはディスクに余裕がないときは Q4_K_M で、わずかな劣化があり、量子化を考慮した学習を経ています。12 GB なら Q3-QAT で、劣化は小さく、英語では事実面の小さな取りこぼしが少し増えます。8 GB なら最小の IQ2_XS-QAT です。アプリが対応づけてくれます。初回起動時にメモリに合わせて五つのサイズのうち一つを提案し、8 GB のマシンまで対応しています。一度ダウンロードすれば、以後はオフラインで動きます。

この一覧には注意が二つあります。一つ目に、メモリの列は Mac での測定値で、システム用の余裕を残しています。カードによれば、アプリは約 4 GB を空けておきます。ディスクリート GPU を積んだ Windows や Linux では、問題になるのはビデオメモリで、確実なのは試してみることだけです。二つ目に、二つの行は推定値です。Q6_K と bf16 のピークメモリです。16 GB の案を選ぶなら、あなたが頼っているのは Q6_K の約 11 GB という推定値です。

品質の列を、自分をだまさずに読む

指摘件数は一直線には下がらず、カードもその理由を説明しています。bf16 は 52 件、Q8_0 は 44 件で、カードはこれを誤差の範囲としています。Q8_0、Q6_K、Q4_K_M は bf16 と誤差の範囲内で、Q3 と 2 ビットでは取りこぼしが少し増えます。正直にまとめると、上位三つのファイルは事実面では見分けがつきにくく、下位二つは件数に表れる形で何かを手放しています。420 件中 64 から 70 件です。

検出器の列にはひねりがあり、カードは慎重に扱っています。別の測定として、同じ英語の下書き 60 件を Originality.ai の最も厳しい設定にかけたところ、Q8_0 は 60 件中 7 件、Q3-QAT は 4 件、2 ビットのファイルは 0 件、bf16 は 4 件が指摘されました。最小のファイルのスコアが最良で、カードはこれを、検出器のスコアが最も低い一方で事実面の小さな取りこぼしが少し多い、と位置づけています。検出器のスコアと事実への忠実度は、逆の方向に動くことがあるという注意になります。カード自身も、検出器は変わるもので、これはある日の一回の測定だと述べています。数字や名前を扱う仕事なら、見るべきは事実の列です。

ファイルサイズがメモリ負担のすべてでもありません。ピークメモリの列は、どの行でもファイルサイズより大きくなっています。実行時には重みに加えて、コンテキストとバッファの分が必要だからです。カードは指示、下書き、リライトをまとめて 8192 トークンのコンテキストにするよう勧め、長い文書は段落の区切りで分けるよう述べています。どのローカルモデルでも、ファイルサイズは下限にすぎないと考え、余裕を残すのがよい習慣です。

もっと速く動かすほかの方法

カードにはアプリ以外の経路もいくつか書かれています。推奨は llama.cpp で、ダウンロードのコマンド、サーバーのコマンド、短い Python クライアントが付いています。Apple シリコンには、重みをローカルで 8 ビットに変換する MLX の経路があります。Ollama については、Ollama がファイルに保存されたチャットテンプレートを無視して独自のものを適用するため、このモデルでは動作が壊れると警告し、正しいテンプレートを入れた Modelfile を用意しています。長い文書をコマンドラインで処理する流れには、付属のツールがあり、文章を断片ごとに書き直し、見出し、コード、表、リンクを保ち、数字が抜けた断片にフラグを立てます。

コミュニティのプロジェクトも一つ触れておく価値があります。ただしカードの注意書きどおり、私たちはベンチマークしていません。ある貢献者が humanizer 用の投機的デコーディングのドラフトモデルを訓練し、M5 Pro の MLX で約 1.5 倍の速度、毎秒 34.5 トークン対 22.8 を報告しています。彼のテストでは、出力は humanizer 単体で動かしたものとトークン単位で一致していました。メインのモデルと並べて動かし、その専用のモデルカードに書かれた MLX の環境が必要です。

私たちの見方

マシンが余裕を持って収められる中で、一番大きいファイルを選んでください。作者自身の測定では、Q8_0 から Q6_K に下げると 420 件のリライトのうち指摘が 12 件増え、Q4_K_M なら 14 件、2 ビットなら 26 件増えます。数字や名前を扱う仕事なら、ファイルサイズよりもこの差を見てください。中間のどこかにいるなら、この表では 16 GB 向けの Q6_K が落としどころに見えます。忠実度と事実チェックは bf16 に近く、サイズは bf16 の半分未満です。

あわせて読みたい

全記事は新しい順に Front ブログ一覧 にあります。

• Humanizer 12B：公表された主張を読む: ローカルモデル Humanizer 12B の主張のうち、出典で裏づけられるもの。
• Ling 3.1 Flash：動かすのに何が要るか: Ling 3.1 Flash を動かすために必要なハードウェア。
• DeepSeek V4.1 Flash 1017 の時系列: DeepSeek の V4.1 Flash のリリース、10 月 17 日の更新、価格とパラメータ数。
• Meta Muse Spark Open の時系列: Meta Muse Spark Open のリリースを日付順にまとめたもの。
• Reflection Beam 501B の時系列: Reflection Beam 501B の重みの公開を日付順にまとめたもの。

よくある質問

出典

• jialinyyzz/humanizer model card
• jialinyyzz/humanizer-GGUF