Humanizer 12B:ローカルで動く AI 文章リライター、その公表数値が実際に語ること
更新中のタイムライン · 最終更新 · 更新履歴 1 件
モデルカードは自分たちの失敗について異例なほど率直です。まずそちらを読んでください。見出しの数字は、もっとも役に立たない数字です。
「人間が書いたと判定」された 95% は、ある検出器の、ある日の結果にすぎません。使うかどうかを決めるべき数字は、英語のリライト 420 件のうち、厳格な評価者が事実面で指摘した 44 件です。
2026-10-17 に Hugging Face の jialinyyzz/humanizer のモデルカードを読みました。リポジトリの日付は Hugging Face のメタデータによります。結果はすべて作者自身のもので、モデルも検出器も私たちは動かしていません。
タイムライン
-
humanizer のリポジトリが Hugging Face に現れます。カードの説明では、google/gemma-4-12B をファインチューニングした Apache 2.0 の 12B モデルで、AI が書いた英語と中国語の下書きを、数字、単位、日付、名前、引用をすべて保ったまま、人が書いたように読める文章に書き直します。
-
作者は Originality.ai を最も厳しい設定にして、bf16 の重みで作った英語のリライト 210 件を検査します。AI と判定されたのは 11 件で、前のリリースは 26 件でした。カードは、学習のどこにも AI 検出器を使っていないと強調しています。
-
この日から、すべての GGUF ファイルがメタデータに推奨のサンプリング設定を保持し、最後のユーザーメッセージからモデルのプロンプトを組み立てるチャットテンプレートを備えます。そのため llama-server のチャットエンドポイントのようなチャット用フロントエンドから、本来はテキスト補完のツールであるこのモデルを動かせます。
このツールの位置づけ
「AI ヒューマナイザー」として売られているツールの多くはウェブのフォームです。これはダウンロードして使うモデルです。カードの説明では、12B パラメータのリライターで、言語モデルが書いた下書きを受け取り、人が書いたように読める形に英語と中国語で書き直します。設計上の目標は一つの制約に集約されています。数字、単位、日付、名前、引用をすべて保ち、何も足さないことです。ローカルで動き、Apple シリコンの Mac と Windows 向けのアプリがあり、カードには llama.cpp、MLX、transformers、vLLM、Ollama で使う方法も書かれています。モデルは google/gemma-4-12B からのファインチューニングで、重みもコードも Apache 2.0 です。
チャットボットのように話しかけて使う道具ではありません。カードは、これはシステムプロンプトもターン区切りもないテキスト補完だと強調しています。固定の指示、空行、下書き、区切り、「Rewritten:」という語を送り、モデルに続きを書かせます。停止はシーケンス終端のみで、停止文字列は決して使わず、temperature は 1.0、top-p は 0.95、top-k と min-p はオフにするよう指示しています。そうしないと llama.cpp の既定値や同梱の生成設定が干渉するからです。これほど細かい指定があるのは、一つの仕事のために作られたツールだからでしょう。
作者によれば、どう作られたか
カードに書かれた学習の経緯は、確かめられる程度に詳しく、これは珍しいことです。第一段階は、言語モデルが書いた下書きと実際の人間による原文を組にした 28,598 組での教師あり微調整です。人間側の出典は、論文の要旨、政府報告書、学生のエッセイ、企業やメーリングリストのメール、Reddit、Hacker News、知乎と説明されています。第二段階は 3,918 組での選好学習で、事実への忠実さと写しの有無だけで選び、LLM が判定しました。第三段階は合計 500 ステップ、3 ラウンドの強化学習です。最初の 200 ステップは厳格な一票制の事実判定を使い、その後 150 ステップを 2 ラウンド行いました。各ステップは 16 件の下書きを使い、それぞれ 8 回サンプリングしています。
報酬は二つの部分からなります。一つは LLM による評価で、各リライトを下書きと照らして読み、重大な誤り、でっち上げ、意味の変化、書式の欠落を減点します。もう一つは、下書きの 5-gram や文の骨組みを写すことへのペナルティです。カードによれば、第二版の全行のデータは付属のデータセットで公開されています。さらに、見出しの数字をどう読むかに関わる主張があります。AI 検出器は学習のどこにも使っておらず、報酬にも、フィルタにも、チェックポイントの選択にも使っていないというものです。
見出し:95% が人間と判定
カードの見出しは、10 月 2 日に Originality.ai が最も厳しい設定で、英語のリライト 210 件の 95% を人間が書いたものと判定した、というものです。AI と判定されたのは 11 件で、前のリリースは 26 件でした。カードは、この差は対応のあるデータで統計的に有意だと報告しています。公開されているベースラインとの比較もあります。GitHub のスターが約 5.3 万件の humanizer スキルを Claude Sonnet に適用し、同じ下書きのうち 60 件を処理させると、60 件すべてが AI と判定されました。同じ 60 件で新しいモデルは 4 件でした。
この数字は緩く受け止める理由が三つあり、いずれもカード自身が示しています。一つ目は、ある検出器の、ある日の結果だということです。カードは、検出器は変わるものであり、どの検出結果も保証されないと述べています。二つ目は、評価用の下書きが作者の保留データから来ていて、三つの最先端モデルがほぼ同じ割合で書いたものだということです。そのため、たとえば人が書き始めて AI が磨いたブログ記事については、ほとんど何も言えません。三つ目は、型にはまったジャンルがやはり最も難しいことです。カードの内訳では、絵文字とハッシュタグ付きの SNS 投稿が 16 件中 3 件、正式な方針メモが 13 件中 2 件で指摘され、メール、ブログ記事、Reddit の投稿、商品レビューでは指摘がありませんでした。
カードが公開している数字
より役に立つのは事実に関する数字です。厳格な LLM 評価者は、英語のリライト 420 件のうち 376 件に事実上の問題を見つけませんでした。残る 44 件は指摘され、問題は合計 135 件で、そのうち 125 件は一語か一句でした。カードの例は、下書きの「The remaining 37 complaints」が「The other 37% of complaints」になったものです。中国語はやや弱く、204 件のリライトのうち 149 件に事実上の問題がありませんでした。前のリリースは英語が 420 件中 369 件、中国語が 204 件中 135 件でした。進む方向はよいものの、絶対的な水準は完璧ではありません。
カードは、事実とは別の失敗の型も挙げています。英語の出力 420 件のうち 28 件で、リストや見出しといった書式要素が抜けました。専門用語を含む短くくだけた英語の下書きは、ときどき全文が中国語で返ってきます。アプリとコマンドラインツールはこれを検出して再試行します。くだけたジャンルでは、下書きにないスラングや罵倒語を加えることもあります。また、カードにある前後比較の例は選ばれたものです。事実評価を通ったもののうち、8 回のサンプリングで最良のものが載っています。
評価者自体の監査まであります。最初の評価者が重大と指摘した 150 件を二人目の評価者が読み直したところ、99 件で重大だと認め、41 件は軽微とし、10 件は事実が変わっていないとしました。作者の結論は、無害な言い換えにすぎない指摘もあるというものですが、それでも送る前に数字、日付、名前を読むようにと勧めています。
なぜ 95% より重要なのか
数字についておおむね正しいツールでも、十分な数の文書を通せば、どこかで一つ変えてしまいます。カードもそう述べています。送る前に結果を読んでください。それが使うときの本当のコストです。コマンドラインツールが、数字が抜けた箇所にフラグを立てる習慣は、検出器のスコアの数ポイントよりも価値があります。速度の数字は期待値をつかむのに役立ちます。M5 Max では、アプリの llama.cpp 構成が毎秒およそ 36 から 38 トークンで動くため、百語のメールで約 3.6 秒、約 300 字の中国語メールで約 8.5 秒かかります。
カードは倫理面についても明確です。自分の下書きのための執筆ツールと位置づけ、学校、雇用主、出版物に AI 支援のルールがあるなら、それに従うようにと述べています。私たちも同意しますし、もう一言加えます。検出器をすり抜けるだけの書き直しは、元の下書きをよくしてはいません。望ましいのは、ぎこちない下書きを、事実を保ったまま、自分のマシンの上で人らしく読める形にするツールです。
ホスト型だけが欲しい場合
当サイトのディレクトリには、AI の文章を意味を保ったまま自然な文章にする無料のホスト型ツール、Grammarly AI Humanizer が載っています。トレードオフは別のものです。セットアップもローカルのハードウェアも要りませんが、文章はサービスに送られます。このモデルのどのファイルが手元のマシンに合うかは、8、16、32 GB で選ぶ humanizer のファイルをご覧ください。
私たちの見方
資料の整った、よくできたリリースですが、このジャンル特有の弱点もあります。多くの人が繰り返すであろう主張が、肝心の品質との結びつきがいちばん薄いのです。仕事に合うかどうかは、検出器の数字より、事実チェックの数字を基準に判断してください。数字だらけの文書を書くなら、リライトのたびに校正する時間を見込んでおくことです。硬い事実の少ないエッセイやメールなら、リスクは小さく、得られるのはより自然な語り口です。
あわせて読みたい
全記事は新しい順に Front ブログ一覧 にあります。
- Humanizer 12B:メモリに合う GGUF はどれか: 同じモデルの GGUF ファイルごとに必要なメモリ。
- Ling 3.1 Flash:動かすのに何が要るか: Ling 3.1 Flash を動かすために必要なハードウェア。
- Grok 4.8:xAI が実際に述べたこと: xAI の Grok 4.5 から 4.7 のリリースと、4.8 についての発言。
- Google Argon の時系列: Google の Gemini 4 Argon のリリースを日付順に記録したもの。
よくある質問
humanizer はオフラインで動きますか。
動きます。モデルカードによればローカルで動作し、アプリは初回起動時に選んだファイルをダウンロードしたあと、オフラインで使えます。
humanizer のライセンスは何ですか。
カードによれば、重みもコードも Apache 2.0 です。ベースの google/gemma-4-12B も Apache 2.0 です。
humanizer は AI 検出器を通ることを保証しますか。
しません。カードは、どの検出結果も保証されず、検出結果は時間とともに変わると述べています。
更新履歴
- — 初回公開。