Humanizer 12B mit 8, 16 oder 32 GB: Welche GGUF-Datei Sie laden sollten
Die Karte listet sechs Dateien. Ihr Speicher grenzt auf eine oder zwei ein, und die Tabelle zeigt, was jeder Schritt nach unten kostet.
Die Werte sind am 2026-10-17 von der Modellkarte jialinyyzz/humanizer übernommen. Den Spitzenspeicher haben die Autoren auf einem M5-Max-Mac gemessen, auf Ihrer Hardware wird er abweichen; zwei Zeilen sind Schätzungen der Autoren, wie gekennzeichnet.
Eine Entscheidung, vor der die meisten bei einem lokalen Modell stehen
Stellen Sie sich vor, Sie haben einen Laptop mit 16 GB Speicher und wollen einen lokalen Umschreiber ausprobieren. Sie öffnen die Modellseite und finden nicht einen Download, sondern sechs, von 3,9 GB bis 23,8 GB, mit Namen wie Q6_K und IQ2_XS-QAT. Das ist hypothetisch, aber fast jeder steckt in dieser Lage, wenn er zum ersten Mal ein quantisiertes Modell sieht. Die Humanizer-Karte hilft besser als die meisten, weil sie jeder Datei eine Größe, einen gemessenen Spitzenspeicher, einen Treuewert und eine Faktenprüfungszahl gibt und klar sagt, für wen jede Datei gedacht ist. Dieser Beitrag liest die Tabelle und erklärt, was ihre Spalten bedeuten. Zum Modell selbst und dazu, wie weit man seinen Schlagzeilenaussagen trauen kann, siehe was die Humanizer-Zahlen wirklich sagen.
Die Tabelle
Top-1-Übereinstimmung gibt an, wie oft das wahrscheinlichste nächste Token der Datei mit dem vollen bf16-Modell übereinstimmt, gemittelt über Englisch und Chinesisch. Markiert ist die Zahl der englischen Umschreibungen von 420, bei denen ein strenger LLM-Richter ein Faktenproblem fand. Spitzenspeicher ist die Messung der Autoren mit llama-server auf Metal auf einem M5 Max mit den Einstellungen der App während des Umschreibens. Alle Werte stammen vom Autor.
| Datei | Größe | Spitzenspeicher (Mac) | Top-1 vs. bf16 | Markiert / 420 |
|---|---|---|---|---|
| Q8_0 | 12,7 GB | 13,7 GB | 98,4 % | 44 |
| Q6_K | 10,0 GB | etwa 11,0 GB (Schätzung) | 97,7 % | 56 |
| Q4_K_M | 7,6 GB | 10,0 GB | 95,2 % | 58 |
| Q3-QAT | 5,6 GB | 8,0 GB | 93,1 % | 64 |
| IQ2_XS-QAT | 3,9 GB | 6,2 GB | 87,4 % | 70 |
| bf16 (Referenz) | 23,8 GB | etwa 24,8 GB (Schätzung) | 100 % | 52 |
Warum die kleinen Dateien keine bloß gequetschten Kopien sind
Die Karte unterscheidet etwas, das erklärt, warum sich Mitte und Ende der Tabelle besser verhalten als erwartet. Die meisten GGUF-Dateien entstehen laut Karte aus einem einzigen llama-quantize-Durchlauf, der jedes Gewicht auf den Zieltyp rundet. Die Dateien 2-Bit, Q3 und Q4_K_M gehen weiter. Bei 2-Bit und Q3 maß der Autor, wie sehr jeder Gewichtstensor dem Modell beim Quetschen schadet, und gab den empfindlichen Tensoren mehr Bits und den robusten weniger. Alle drei wurden dann Schicht für Schicht darauf trainiert, das volle Modell nachzubilden, also quantisierungsbewusstes Training, und aus dem vollen bf16-Modell auf englischen und chinesischen Umschreibungsdaten destilliert. Q6_K und Q8_0 sind Standard-Builds, denn bei diesen Größen bleibe, so die Karte, fast nichts mehr zurückzugewinnen.
Der Effekt ist laut Karte messbar. Bei der 2-Bit-Datei wählt ein Standard-Build gleicher Größe in 70 Prozent der Fälle dasselbe nächste Token wie bf16; die zusätzlichen Schritte heben das auf 81 Prozent, dann 85, dann 87. Die Einzelheiten, darunter KL-Divergenz und Faktenprüfungen je Datei, stehen in einem von der Karte verlinkten Dokument zur Quantisierung; wir haben sie nicht geprüft.
Das Ergebnis ist trotzdem eine gewöhnliche GGUF-Datei, die jedes aktuelle llama.cpp ausführen kann, was zählt, wenn man nicht von der App des Autors abhängen will. Die Karte vermerkt außerdem, dass die Dateien ein eigenes Repository haben, bestehende Download-Befehle also weiter funktionieren.
Was Sie für Ihren Speicher wählen
Die Empfehlungen der Karte sind konkret und passen zur Tabelle. Mit 32 GB oder mehr nehmen Sie Q8_0, das die Karte als empfohlen und beste Qualität bezeichnet. Mit 16 GB nehmen Sie Q6_K, bei dem laut Karte kein messbarer Verlust auftritt. Um 14 GB oder wenn der Plattenplatz knapp ist, Q4_K_M, mit leichtem Verlust und quantisierungsbewusstem Training. Mit 12 GB Q3-QAT, mit geringem Verlust und ein paar mehr Faktenpatzern auf Englisch. Bei 8 GB die kleinste Datei, IQ2_XS-QAT. Die App übernimmt die Zuordnung: Beim ersten Start schlägt sie eine von fünf Größen für Ihren Speicher vor, bis hinunter zu Rechnern mit 8 GB, lädt sie einmal und arbeitet danach offline.
Zwei Vorbehalte gehören neben die Liste. Erstens ist die Speicherspalte eine Mac-Messung, die Platz für das System lässt; laut Karte hält die App etwa 4 GB frei. Auf einem Windows- oder Linux-Rechner mit dedizierter GPU zählt der Grafikspeicher, und die einzige verlässliche Antwort ist Testen. Zweitens sind zwei Zeilen Schätzungen und keine Messungen: der Spitzenspeicher von Q6_K und bf16. Die Schätzung von etwa 11 GB für Q6_K ist die Zahl, auf die Sie sich verlassen, wenn Sie die 16-GB-Option wählen.
Die Qualitätsspalten lesen, ohne sich zu täuschen
Die Zahlen der markierten Umschreibungen fallen nicht auf einer Geraden, und die Karte sagt, warum. bf16 hat 52 markierte und Q8_0 44, was die Karte als im Rahmen des Rauschens beschreibt. Q8_0, Q6_K und Q4_K_M liegen im Rauschen von bf16; Q3 und 2-Bit leisten sich ein paar mehr Patzer. Ehrlich zusammengefasst sind die oberen drei Dateien bei den Fakten schwer zu unterscheiden, und die unteren zwei geben etwas ab, das man in der Zählung sieht, von 64 bis 70 von 420.
In der Detektorspalte gibt es eine Wendung, bei der die Karte sorgfältig ist. In einer separaten Messung, denselben 60 englischen Entwürfen durch Originality.ai in der strengsten Einstellung, hatte Q8_0 7 markierte von 60, Q3-QAT 4, die 2-Bit-Datei 0 und bf16 4. Die kleinste Datei schnitt am besten ab, was die Karte als niedrigsten Detektorwert bei ein paar mehr Faktenpatzern kennzeichnet. Das erinnert daran, dass Detektorwerte und Faktentreue in entgegengesetzte Richtungen ziehen können und dass die Karte selbst sagt, Detektoren änderten sich und dies sei eine Messung an einem Datum. Wer mit Zahlen und Namen arbeitet, sollte die Faktenspalte gewichten.
Auch die Dateigröße ist nicht die ganze Speicherrechnung. Die Spalte Spitzenspeicher liegt in jeder Zeile über der Dateigröße, weil die Laufzeit zusätzlich zu den Gewichten Platz für Kontext und Puffer braucht. Die Karte empfiehlt einen Kontext von 8192 Token, der Anweisung, Entwurf und Umschreibung zusammen abdeckt, und rät, lange Dokumente an Absatzgrenzen zu teilen. Bei jedem lokalen Modell hilft die Gewohnheit, die Dateigröße als Untergrenze und nicht als Budget zu behandeln und Luft zu lassen.
Weitere Wege, es schneller zum Laufen zu bringen
Die Karte dokumentiert mehrere Wege neben der App. llama.cpp ist der empfohlene, mit Download-Befehl, Server-Befehl und einem kurzen Python-Client. Für Apple Silicon gibt es einen MLX-Weg, der die Gewichte lokal auf 8 Bit umrechnet. Bei Ollama warnt die Karte, dass Ollama das in der Datei gespeicherte Chat-Template ignoriert und sein eigenes anwendet, was dieses Modell bricht, und liefert deshalb ein Modelfile mit dem richtigen Template. Für einen Kommandozeilen-Ablauf mit langen Dokumenten schreibt ein Begleitwerkzeug Prosa Stück für Stück um, behält Überschriften, Code, Tabellen und Links bei und markiert jedes Stück, in dem eine Zahl verloren ging.
Ein Community-Projekt ist erwähnenswert, mit dem Vorbehalt der Karte selbst, dass wir es nicht gemessen haben. Ein Mitwirkender trainierte ein Draft-Modell für spekulative Dekodierung für Humanizer und meldet etwa die 1,5-fache Geschwindigkeit auf einem M5 Pro mit MLX, 34,5 Token pro Sekunde gegenüber 22,8, bei Ausgaben, die in seinem Test Token für Token identisch mit dem Lauf von Humanizer allein waren. Es läuft neben dem Hauptmodell und braucht das MLX-Setup, das in seiner eigenen Modellkarte beschrieben ist.
Unsere Einschätzung
Nehmen Sie die größte Datei, die Ihr Rechner mit Luft nach oben fasst. Nach dem eigenen Maß des Autors kostet der Schritt von Q8_0 auf Q6_K 12 zusätzliche markierte Umschreibungen von 420, der auf Q4_K_M 14 und der auf 2-Bit 26. Bei Arbeit mit Zahlen und Namen ist diese Lücke das Gewicht, nicht die Dateigröße. Wer irgendwo in der Mitte liegt: Die 16-GB-Empfehlung Q6_K sieht in dieser Tabelle wie der Sweet Spot aus, bei Treue und Faktenprüfung nah an bf16, bei weniger als der Hälfte von dessen Größe.
Weiterlesen
Alle Beiträge, neueste zuerst, stehen im Front-Blog.
- Humanizer 12B: Die Aussagen im Check: Was von den Aussagen zum lokalen Modell Humanizer 12B durch Quellen gedeckt ist.
- Ling 3.1 Flash: Was der Betrieb verlangt: Welche Hardware für Ling 3.1 Flash nötig ist.
- Zeitleiste zu DeepSeek V4.1 Flash 1017: DeepSeeks V4.1-Flash-Release, das Update vom 17. Oktober, Preise und Parameterzahlen.
- Meta-Muse-Spark-Open-Zeitleiste: Der Release von Meta Muse Spark Open in zeitlicher Folge.
- Reflection-Beam-501B-Zeitleiste: Die Veröffentlichung der Gewichte von Reflection Beam 501B in zeitlicher Folge.
Häufige Fragen
Welche Humanizer-GGUF soll ich mit 16 GB nutzen?
Die Karte empfiehlt Q6_K für 16 GB und sagt, es gebe keinen messbaren Verlust. Es sind 10,0 GB auf der Platte mit geschätzt 11,0 GB Spitze auf einem Mac.
Was ist die kleinste Humanizer-Datei?
IQ2_XS-QAT mit 3,9 GB, gedacht für Rechner mit 8 GB. Sie macht ein paar mehr Faktenpatzer, prüfen Sie also Zahlen und Namen.
Warum ist der Spitzenspeicher höher als die Dateigröße?
Die Laufzeit braucht zusätzlich zu den Gewichten Speicher für Kontext und Puffer. Die Mac-Werte der Karte wurden mit den Einstellungen der App gemessen und lassen Platz für das System.