Skip to content
FrontierDot

Ling-3.1-flash: 560B Parameter, 25B aktiv, und was das für Ihre Hardware heißt

Fortlaufende Zeitleiste · zuletzt aktualisiert · 1 Eintrag im Änderungsprotokoll

Nur 25B Parameter arbeiten an jedem Token, das klingt klein. Die Gewichte müssen trotzdem alle irgendwo liegen, und das empfohlene Setup ist ein Rack und kein Desktop.

Ling-3.1-flash hat 560B Parameter insgesamt und 25B aktive und erschien rund zehn Wochen nach Ling-3.0-flash; es braucht einen Multi-GPU-Server, und jede Benchmark-Zahl stammt von den Autoren selbst.

Gelesen auf der Modellkarte inclusionAI/Ling-3.1-flash auf Hugging Face am 2026-10-17; die Repository-Daten stammen aus den Hugging-Face-Metadaten. Alle Benchmark-Werte meldet der Anbieter selbst, wir haben sie nicht nachgestellt.

Zeitleiste

  1. Das Repository Ling-3.0-flash erscheint auf Hugging Face. Die 3.1-Karte beschreibt sich später als darauf aufbauend, mit Verbesserungen bei der Architektur und der Leistung bei realen Aufgaben.

    inclusionAI/Ling-3.0-flash (Hugging Face metadata)

  2. Das Repository Ling-3.1-flash erscheint. Die Karte stellt es als verbessertes natives hybrides Reasoning-Modell für komplexe reale Aufgaben vor, mit 560B Parametern insgesamt, 25B aktiv pro Token und einem Kontextfenster von 1M Token, und liefert Day-0-Serving-Rezepte für SGLang und vLLM.

    inclusionAI/Ling-3.1-flash model card

Ein Release, das bei Agenten beginnt, nicht beim Chat

Der erste Absatz der Ling-3.1-flash-Karte verrät, wofür die Autoren es nutzen lassen wollen. Sie nennen es ein verbessertes natives hybrides Reasoning-Modell für komplexe reale Aufgaben, und die Beispiele, zu denen sie greifen, sind keine Unterhaltung: universelle Agenten, Suche, Büroproduktivität und Softwareentwicklung. Die Benchmarks, die die Karte in ihrer Einleitung nennt, folgen demselben Muster: GDPVal-AA V2.1 für Büroaufgaben, HealthBench Professional für das Gesundheitswesen, FrontierSWE für Softwareentwicklung und Terminal-Bench 4.0 für terminalbasierte Werkzeugnutzung. Sie sagt außerdem, das Modell verbessere sich in Spezialgebieten wie Finanzen und Materialwissenschaft, ohne Zahlen.

Die Linie ist kurz. Das Repository Ling-3.0-flash erschien am 2. August. Ling-3.1-flash folgte am 13. Oktober, rund zehn Wochen später, und laut Karte baut das neue Modell auf dem alten auf, mit Verbesserungen bei der Architektur und der Leistung bei realen Aufgaben. Wer das Tempo offener Gewichte verfolgt, für den ist diese Lücke die Schlagzeile: ein Modell mit 560B Parametern, in etwas mehr als zwei Monaten überarbeitet.

Das Datenblatt lesen

In der Übersichtstabelle der Karte hört ein Modell auf, ein Slogan zu sein. Ling-3.1-flash ist ein hybrid-lineares Mixture-of-Experts-Modell: 560B Parameter insgesamt, 25B pro Token aktiviert, 63 KDA-Schichten und 9 gated MLA-Schichten im Verhältnis 7:1, 4 dichte Schichten, 512 geroutete Experten plus 1 geteilter Experte, 8 aktivierte Experten pro Token, 64 Attention-Köpfe, eine Hidden-Größe von 4096 und ein Vokabular von 157.184. Die Karte löst die Abkürzungen KDA und MLA nicht auf, und wir raten nicht. Die Zahlen zeigen Arithmetik: 25B aktiv von 560B insgesamt sind etwa 4,5 Prozent der Parameter, die für ein einzelnes Token berührt werden, und 8 der 512 gerouteten Experten plus der geteilte erledigen die Arbeit.

Eine Abweichung wollen wir nicht verschweigen. Die Metadaten von Hugging Face auf der Seite zeigen 572B Parameter, etwas mehr als die 560B der Karte. Der Unterschied wird nirgends erklärt, den wir sehen können, wir verwenden also den Wert der Karte und vermerken, dass die Zählung der Plattform höher liegt.

„25B aktiv“ betrifft die Geschwindigkeit, nicht den Speicher

Dieser Satz geht in Schlagzeilen über Mixture-of-Experts-Modelle gern unter. Der Rechenaufwand pro Token folgt der Zahl aktiver Parameter, weshalb ein Modell mit 25B aktiven pro Token deutlich billiger laufen kann als ein dichtes Modell mit 560B. Beim Speicher gilt das nicht. Der Router kann das nächste Token an jeden Experten schicken, also müssen alle im schnellen Speicher bereitliegen. Die Gewichte skalieren daher mit der Gesamtzahl und nicht mit der aktiven. Bei 16 Bit pro Parameter sind 560 Milliarden Parameter grob 1,1 Terabyte, bevor der KV-Cache gezählt wird. Das ist unsere Rechnung und keine Angabe der Karte, und sie erklärt den nächsten Abschnitt.

Ein langes Kontextfenster macht die Speicherfrage schlimmer, nicht besser. 1M Token Kontext sind ein großer Anspruch, und jedes Token im Kontext belegt zusätzlich zu den Gewichten KV-Cache-Speicher. Die Karte nennt keinen Speicherwert für die Nutzung mit langem Kontext, das sollten Sie also messen, nicht annehmen. Eine einfache Gewohnheit hilft bei jedem Modell dieser Größe: Der Download ist eine Untergrenze, kein Budget.

Was das empfohlene Setup verrät

Der empfohlene Serving-Weg der Karte ist SGLang, und sein Day-0-Image enthält Unterstützung für Ling-3.1-flash, spekulative Dekodierung über MTP mit dem NEXTN-Algorithmus und Hopper-Decode-Optimierungen. Der Server-Befehl ist für 8 × H200 mit Tensor- und Expert-Parallelität jeweils 8 oder auf 4 × GB300 mit Parallelität 4. Dazu heißt es, zwei optionale Umgebungsflags brächten auf Hopper rund 10 Prozent schnelleres Decoding bei Batch 1. Ein von der Karte verlinktes Cookbook listet geprüfte Rezepte für H200, GB300, H800, H100 und B200, dazu HiCache mit Mooncake als dritte Cache-Stufe, Reasoning an und aus, Tool Calling sowie gemessene Werte für Genauigkeit und Geschwindigkeit. Das ist das Profil eines Modells für Rechenzentren.

Der vLLM-Weg ist ein ebenso klares Signal. Die Karte verlangt, vLLM aus einem bestimmten Branch zu bauen und dann mit Tensor-Parallel-Größe 8, GPU-Speicherauslastung 0,85, Prefix Caching, Expert Parallelism, einem Mamba-Cache-Modus, einem Auto-Tool-Choice-Flag mit ling3-Tool-Call-Parser und ling3-Reasoning-Parser sowie spekulativer Dekodierung mit drei MTP-Token zu servieren. Beide Wege nutzen dieselbe Sampling-Empfehlung: Temperature 1,0, Top-p 0,95, Top-k 20, für beste Leistung mit aktiviertem Denken.

Unsere Lesart ist einfach. Das ist kein Modell für eine Gaming-GPU. Wer den Speicher für Modelle abschätzen will, die er selbst betreiben möchte, sollte zwei Gewohnheiten pflegen: davon ausgehen, dass der Laufzeitspeicher größer ist als die Datei, und den KV-Cache für die tatsächlich genutzte Kontextlänge addieren. Bei diesem Modell ist die praktischere Frage, ob ein gehosteter Endpunkt es zu einem sinnvollen Preis anbietet. Die Karte verweist auf OpenRouter und nennt Novita als Inferenzanbieter, gehosteter Zugang existiert also, Preise stehen aber nicht auf der Karte.

Was die Autoren dem Modell zutrauen

Laut Karte schneidet Ling-3.1-flash bei repräsentativen Coding- und Agenten-Benchmarks stark ab: Terminal-Bench 4.0, SWE-bench Pro, FrontierSWE, GDPVal-AA V2.1, Automationbench, MCP-Atlas und SkillsBench, unter anderem. Der Evaluationsblock der Seite listet Werte für mehrere: SWE-bench Pro 68,74, Deep SWE 59,7, Terminal-Bench 2.1 81,18, Humanity’s Last Exam 37,44, SWE-bench Multilingual (resolved) 88,5, Terminal-Bench 46,03 und SkillsBench v1.1 68,7. Mehrere davon tragen auf der Seite ein Sternchen, das die Seite in lesbarem Text nicht erklärt. Das sind vom Anbieter gemeldete Zahlen. Wir haben sie nicht nachgestellt, und sie sind nicht als Rangfolge gegenüber einem anderen Modell zu lesen.

Die Karte sagt außerdem, das Modell biete in Claude Code, Kilo Code, Qwen Code, Hermes Agent, OpenClaw und anderen Frameworks ein starkes Erlebnis, eine Aussage über Kompatibilität und nicht über Qualität. Und sie stellt LingCode vor, ein Harness auf Basis des Open-Source-Coding-Agenten Pi, erweitert für langfristige Coding-Aufgaben, die Stunden laufen, Hunderte Runden Tool-Aufrufe umfassen und wiederholtes Verdichten des Kontexts erfordern. Die Autoren erwägen eine Veröffentlichung als Open Source, es ist also nicht veröffentlicht. Das übersieht man leicht und sollte man sich merken: Die stärksten Ergebnisse, die die Autoren für lange Coding-Aufgaben beschreiben, nutzen ein Harness, das Sie noch nicht herunterladen können.

Der Papierkram

Die Karte endet mit etwas, das auf einer Modellseite ungewöhnlich ist: einer öffentlichen Zusammenfassung der Trainingsinhalte als PDF und einem Dokumentationsindex. Sie beschreibt die erfassten Modellversionen, den Umfang der Trainingsinhalte, die Version der Zusammenfassung und das Aktualisierungsdatum und sagt deutlich, dass es um die Offenlegung der Trainingsinhalte geht und nicht um einen Ersatz für technische Dokumentation, Nutzungsbedingungen oder die Lizenz. Das PDF haben wir nicht gelesen. Die Seite zeigt außerdem 1.904 Downloads im letzten Monat, wenig für ein Modell dieser Größe, was zu einem Release passt, das eher gehostet als heruntergeladen wird.

Unsere Einschätzung

Lesen Sie die Benchmark-Liste als Aussage der Autoren, wo sie das Modell für stark halten, nämlich bei agentischem Coding und Terminalarbeit, und warten Sie auf unabhängige Läufe, bevor Sie einen einzelnen Wert als gesichert ansehen. Lesen Sie die Spezifikation als Erinnerung, dass Sparsity Rechenleistung spart, nicht Speicher. Die nützlichste Zahl der Karte ist für die meisten Leser kein Benchmark, sondern der Server-Befehl, denn 8 × H200 sagt, für wen dieser Release gedacht ist. Für alle anderen lautet die Frage nicht, ob Sie es betreiben können, sondern ob jemand, der es serviert, Ihnen Zugang zu einem sinnvollen Preis gibt.

Weiterlesen

Alle Beiträge, neueste zuerst, stehen im Front-Blog.

Häufige Fragen

Wie viele Parameter hat Ling-3.1-flash?

Die Modellkarte nennt 560B insgesamt mit 25B aktiv pro Token und ein Kontextfenster von 1M Token. Die Hugging-Face-Metadaten auf der Seite zeigen 572B.

Kann ich Ling-3.1-flash auf einer einzelnen GPU betreiben?

Nicht auf einer Consumer-GPU. Das empfohlene Setup der Karte ist 8 × H200 oder 4 × GB300, weil alle Expertengewichte vorhanden sein müssen, obwohl pro Token nur 25B Parameter aktiv sind.

Wofür ist Ling-3.1-flash gut?

Die Autoren melden starke Ergebnisse bei agentischem Coding und Terminal-Benchmarks wie SWE-bench Pro und Terminal-Bench. Die Werte stammen vom Anbieter und sind hier nicht unabhängig geprüft.

Änderungsprotokoll

  • — Erstveröffentlichung.

Quellen