Ling-3.1-flash:560B パラメータ、アクティブ 25B、それがハードウェアに意味すること
更新中のタイムライン · 最終更新 · 更新履歴 1 件
トークンごとに働くパラメータは 25B だけで、小さく聞こえます。それでも重みはすべてどこかに置かなければならず、推奨構成はラック一台分で、デスクトップには収まりません。
Ling-3.1-flash は総パラメータ 560B、アクティブ 25B で、Ling-3.0-flash の約十週間後にリリースされました。動かすには複数 GPU のサーバーが必要で、ベンチマークの数字はすべて作者自身のものです。
2026-10-17 に Hugging Face の inclusionAI/Ling-3.1-flash のモデルカードを読みました。リポジトリの日付は Hugging Face のメタデータによります。ベンチマークの数値はすべて提供元の報告で、私たちは再現していません。
タイムライン
-
Ling-3.0-flash のリポジトリが Hugging Face に現れます。のちの 3.1 のカードは、このモデルを土台に、アーキテクチャと実タスクでの性能を改良したものだと説明しています。
-
Ling-3.1-flash のリポジトリが現れます。カードは、複雑な実世界のタスク向けにアップグレードされたネイティブのハイブリッド推論モデルとして紹介し、総パラメータ 560B、トークンあたりアクティブ 25B、1M トークンのコンテキストウィンドウを備え、SGLang と vLLM 向けのサービング手順を初日(day-0)から提供しています。
チャットより先にエージェントを見据えたリリース
Ling-3.1-flash のカードの最初の段落は、作者がこれを何に使ってほしいかを示しています。複雑な実世界のタスク向けに設計された、アップグレード版のネイティブ・ハイブリッド推論モデルと呼び、挙げる例は汎用エージェント、検索、オフィス業務の生産性、ソフトウェア開発で、会話は出てきません。導入部で名前の出るベンチマークも同じ並びです。オフィス業務には GDPVal-AA V2.1、ヘルスケアには HealthBench Professional、ソフトウェア開発には FrontierSWE、ターミナルでのツール利用には Terminal-Bench 4.0 です。金融や材料科学などの専門分野でも向上したと述べていますが、数字はありません。
系譜は短いものです。Ling-3.0-flash のリポジトリは 8 月 2 日に現れました。Ling-3.1-flash は 10 月 13 日で、約十週間後です。カードは、新モデルが旧モデルを土台に、アーキテクチャと実タスクでの性能を改良したと述べています。オープンウェイトのリリースの速さを追っている人にとっては、この間隔が見出しです。560B パラメータのモデルが二か月余りで改訂されました。
仕様表を読む
カードの概要表で、モデルはスローガンから実体になります。Ling-3.1-flash はハイブリッド線形のエキスパート混合(MoE)モデルです。総パラメータ 560B、トークンあたりアクティブ 25B、63 層の KDA と 9 層のゲート付き MLA が 7:1 の比率、密な層が 4 層、ルーティング対象のエキスパート 512 に共有エキスパート 1、トークンあたり 8 エキスパートが活性化、アテンションヘッド 64、隠れ層サイズ 4096、語彙数 157,184 です。カードは KDA と MLA の略語を展開しておらず、私たちも推測しません。数字から言えるのは算術だけです。560B のうち 25B がアクティブなので、1 トークンあたり触れるパラメータは約 4.5% で、512 のルーティング対象エキスパートのうち 8 と、共有エキスパートが仕事をします。
食い違いが一つあり、隠さずに指摘しておきます。ページ上の Hugging Face 自身のメタデータは 572B パラメータを示していて、カードの 560B よりやや多くなっています。この差はこちらで確認できる範囲では説明されていないため、カードの数字を使い、プラットフォーム側の数が多いことを付記します。
「アクティブ 25B」が決めるのは速度で、メモリは別の話
エキスパート混合モデルの見出しで、いちばん抜け落ちやすい一文です。トークンあたりの計算量はアクティブなパラメータ数に比例します。だからアクティブ 25B のモデルは、560B の密なモデルよりトークンあたりの実行コストをずっと小さくできます。ところがメモリはそうなりません。ルーターは次のトークンをどのエキスパートにも送れるので、すべてのエキスパートが、答えられる状態で高速なメモリに常駐している必要があります。重みは総数に比例し、アクティブ数には左右されません。1 パラメータ 16 ビットなら、5600 億パラメータは KV キャッシュを数える前で約 1.1 TB です。これは私たちが自分で計算した値で、カードには載っていませんが、次の節の説明にもなります。
長いコンテキストウィンドウは、メモリの事情をさらに悪くします。1M トークンのコンテキストは大きな主張で、コンテキストに保持されるトークンはどれも、重みに加えて KV キャッシュのメモリを消費します。カードは長いコンテキストを使うときのメモリの数字を示していないので、想定で済ませず、測るべきことです。この規模のモデルには簡単な心がけが役立ちます。ダウンロードサイズは、あくまで下限の目安です。
推奨構成が示すもの
カードが推奨するサービング経路は SGLang で、初日(day-0)のイメージには、Ling-3.1-flash への対応、NEXTN アルゴリズムを使った MTP による投機的デコーディング、Hopper 向けのデコード最適化が含まれます。サーバーのコマンドは 8 × H200 向けで、テンソル並列とエキスパート並列をどちらも 8 に設定します。4 × GB300 なら並列度は 4 です。任意の環境フラグを二つ設定すると、Hopper でのバッチサイズ 1 のデコードが約 10% 速くなるとも書かれています。カードからリンクされたクックブックには、H200、GB300、H800、H100、B200 で検証済みの手順、Mooncake を第三のキャッシュ階層とする HiCache、推論のオンとオフ、ツール呼び出し、実測の精度と速度の数値が載っています。データセンター向けのモデルという姿です。
vLLM の経路が示す信号も同じようにはっきりしています。カードは、特定のブランチから vLLM をビルドし、テンソル並列サイズ 8、GPU メモリ使用率 0.85、プレフィックスキャッシュ、エキスパート並列、mamba キャッシュモード、ling3 のツール呼び出しパーサーと ling3 の推論パーサーを伴う自動ツール選択フラグ、MTP トークン 3 つの投機的デコーディングでサーブするよう求めています。両方の経路で推奨サンプリングは同じで、temperature 1.0、top-p 0.95、top-k 20、最良の性能を得るには思考を有効にします。
私たちの読みは単純です。ゲーミング GPU 向けのモデルではありません。自分で動かすつもりのモデルのメモリを見積もるなら、二つの心がけが役立ちます。実行時のメモリはファイルより大きいと考えること。そして実際に使うコンテキスト長の KV キャッシュを足すことです。このモデルに関しては、もっと現実的な問いは、ホスト型のエンドポイントが妥当な価格で提供してくれるかどうかです。カードは OpenRouter を案内し、推論プロバイダとして Novita を挙げているので、ホスト型での利用は存在しますが、価格はカードに載っていません。
作者が主張すること
カードによれば、Ling-3.1-flash は代表的なコーディングとエージェントのベンチマークで高い性能を示します。Terminal-Bench 4.0、SWE-bench Pro、FrontierSWE、GDPVal-AA V2.1、Automationbench、MCP-Atlas、SkillsBench などです。ページの評価欄にはいくつかのスコアがあります。SWE-bench Pro 68.74、Deep SWE 59.7、Terminal-Bench 2.1 81.18、Humanity’s Last Exam 37.44、SWE-bench Multilingual(解決)88.5、Terminal-Bench 46.03、SkillsBench v1.1 68.7 です。いくつかにはページ上でアスタリスクが付いていますが、読める範囲の文章には説明がありません。これらは提供元が報告した数字です。私たちは再現しておらず、他のどのモデルとの順位づけとも受け取るべきではありません。
カードはさらに、Claude Code、Kilo Code、Qwen Code、Hermes Agent、OpenClaw などのフレームワークの中で良い体験が得られるとも述べています。これは互換性についての主張にとどまり、品質を裏づけるものではありません。また LingCode を紹介しています。オープンソースのコーディングエージェント Pi の上に作られたハーネスで、数時間続き、数百回のツール呼び出しを伴い、コンテキストの圧縮を何度も必要とする長期のコーディングタスク向けに強化されています。作者はオープンソース化を検討中だと言っており、つまり未公開です。この点は見落としやすく、覚えておく価値があります。長いコーディングタスクで作者が述べている最も強い結果は、まだダウンロードできないハーネスを使ったものです。
書類の部分
カードの末尾には、モデルのページとしては珍しいものがあります。PDF で入手できる公開の学習内容の概要と、ドキュメントの索引です。対象のモデルバージョン、学習内容の範囲、概要のバージョン、更新日が書かれ、これは学習内容の開示に関するもので、技術文書、利用条件、ライセンスの代わりにはならないと明記しています。私たちはこの PDF を読んでいません。ページには、直近 1 か月のダウンロード数 1,904 も表示されています。モデルの大きさに比べて少ない数字で、ダウンロードされるより、サービスとして提供される使われ方が中心のリリースらしい数字です。
私たちの見方
ベンチマークの一覧は、作者が自分のモデルが強いと考える領域、つまりエージェント型のコーディングとターミナル作業についての自己申告として読み、独立した再実行を待ってから、どれか一つのスコアを確定したものとして扱ってください。仕様は、スパース性で節約できるのは計算で、メモリには効かないという注意として読みます。ほとんどの読者にとって、カードで最も役立つ数字は、ベンチマークよりもサーバーのコマンドです。8 × H200 という数字が、このリリースが誰のためのものかを物語っています。それ以外の人にとって、気にすべきは、動かせるかどうかよりも、サービスを提供している誰かが妥当な価格でアクセスさせてくれるかどうかです。
あわせて読みたい
全記事は新しい順に Front ブログ一覧 にあります。
- Reflection Beam 501B の時系列: Reflection Beam 501B の重みの公開を日付順にまとめたもの。
- Meta Muse Spark Open の時系列: Meta Muse Spark Open のリリースを日付順にまとめたもの。
- DeepSeek V4.1 Flash 1017 の時系列: DeepSeek の V4.1 Flash のリリース、10 月 17 日の更新、価格とパラメータ数。
- Humanizer 12B:メモリに合う GGUF はどれか: 同じモデルの GGUF ファイルごとに必要なメモリ。
- Qwen Image 2.1 Turbo の 8 ステップ: Qwen Image 2.1 Turbo がステップ数を 8 に減らした仕組み。
よくある質問
Ling-3.1-flash のパラメータ数はいくつですか。
モデルカードによれば総パラメータ 560B、トークンあたりアクティブ 25B、コンテキストウィンドウは 1M トークンです。ページ上の Hugging Face のメタデータは 572B を示しています。
Ling-3.1-flash は GPU 一枚で動かせますか。
コンシューマー向けの GPU では動きません。カードの推奨構成は 8 × H200 または 4 × GB300 です。トークンごとにアクティブなのは 25B パラメータだけでも、すべてのエキスパートの重みが常駐している必要があるためです。
Ling-3.1-flash は何が得意ですか。
作者は、SWE-bench Pro や Terminal-Bench といった、エージェント型のコーディングとターミナルのベンチマークで高い結果を報告しています。これらは提供元の報告で、ここでは独立に検証していません。
更新履歴
- — 初回公開。