Humanizer 12B con 8, 16 o 32 GB: qué archivo GGUF descargar

Una decisión que la mayoría afronta con un modelo local

Imagina que tienes un portátil con 16 GB de memoria y quieres probar un reescritor local. Abres la página del modelo y encuentras no una descarga sino seis, de 3,9 GB a 23,8 GB, con nombres como Q6_K e IQ2_XS-QAT. Es una hipótesis, pero es la situación en la que está casi todo el mundo la primera vez que se topa con un modelo cuantizado. La ficha de humanizer ayuda mejor que la mayoría, porque da a cada archivo un tamaño, una memoria pico medida, una puntuación de fidelidad y un recuento de comprobación de hechos, y dice con claridad a quién va dirigido cada archivo. Este artículo lee esa tabla y explica qué significan sus columnas. Para el modelo en sí, y hasta qué punto fiarse de sus afirmaciones principales, consulta qué dicen en realidad las cifras de humanizer.

La tabla

La coincidencia top-1 es la frecuencia con la que el siguiente token más probable del archivo coincide con el del modelo bf16 completo, promediada entre inglés y chino. «Marcadas» es el número de reescrituras en inglés, de 420, en las que un juez LLM estricto encontró un problema factual. La memoria pico es la medición de los autores con llama-server en Metal en un M5 Max, con los ajustes de la aplicación, durante una reescritura. Todas las cifras son del autor.

Por qué los archivos pequeños no son simples copias comprimidas

La ficha hace una distinción que explica por qué el medio y la parte baja de la tabla se comportan mejor de lo que cabría esperar. Dice que la mayoría de los archivos GGUF salen de una sola pasada de llama-quantize que redondea cada peso al tipo de destino. Los archivos de 2 bits, Q3 y Q4_K_M van más allá. En los de 2 bits y Q3, el autor midió cuánto daña al modelo cada tensor de pesos al comprimirlo y dio más bits a los tensores sensibles y menos a los robustos. Los tres se entrenaron después capa por capa para reproducir el modelo completo, lo que es entrenamiento consciente de la cuantización, y se destilaron a partir del modelo bf16 completo con datos de reescritura en inglés y chino. Q6_K y Q8_0 son compilaciones estándar, porque a esos tamaños, dice la ficha, casi no queda nada que recuperar.

El efecto, según la ficha, es medible. Para el archivo de 2 bits, una compilación estándar del mismo tamaño elige el mismo siguiente token que bf16 el 70 por ciento de las veces; los pasos adicionales suben esa cifra al 81 por ciento, luego 85, luego 87. Los detalles, incluida la divergencia KL y las comprobaciones de hechos por archivo, están en un documento sobre cuantización que enlaza la ficha; no los verificamos.

El resultado sigue siendo un archivo GGUF corriente que cualquier llama.cpp reciente puede ejecutar, lo que importa si no quieres depender de la aplicación del autor. La ficha también señala que los archivos tienen su propio repositorio, de modo que los comandos de descarga existentes siguen funcionando.

Qué elegir según tu memoria

Las recomendaciones de la propia ficha son concretas y encajan con la tabla. Con 32 GB o más, elige Q8_0, que la ficha llama recomendado y de mejor calidad. Con 16 GB, elige Q6_K, que según la ficha no tiene pérdida medible. En torno a 14 GB, o cuando el disco va justo, Q4_K_M, con ligera pérdida y entrenamiento consciente de la cuantización. Con 12 GB, Q3-QAT, que tiene una pequeña pérdida y algunos fallos factuales más en inglés. Con 8 GB, el archivo más pequeño, IQ2_XS-QAT. La aplicación hace la correspondencia por ti: en el primer arranque sugiere uno de cinco tamaños según tu memoria, hasta equipos de 8 GB, lo descarga una vez y luego funciona sin conexión.

Dos advertencias acompañan a la lista. Primero, la columna de memoria es una medición en Mac que deja margen para el sistema; la ficha dice que la aplicación mantiene libres unos 4 GB. En un equipo Windows o Linux con GPU dedicada, lo que importa es la memoria de vídeo, y la única respuesta fiable es probar. Segundo, dos filas son estimaciones, no mediciones: la memoria pico de Q6_K y de bf16. La estimación de unos 11 GB para Q6_K es la cifra en la que te apoyas si eliges la opción de 16 GB.

Leer las columnas de calidad sin engañarse

Los recuentos de marcadas no bajan en línea recta, y la ficha explica por qué. bf16 tiene 52 marcadas y Q8_0 tiene 44, lo que la ficha describe como dentro del ruido entre sí. Q8_0, Q6_K y Q4_K_M están dentro del ruido de bf16; Q3 y 2 bits cometen algunos fallos más. El resumen honesto es que los tres archivos más grandes son difíciles de distinguir en cuanto a hechos, y los dos más pequeños ceden algo que se ve en el recuento, de 64 a 70 de 420.

Hay un giro en la columna del detector del que la ficha habla con cuidado. En una medición aparte, los mismos 60 borradores en inglés pasados por Originality.ai en su ajuste más estricto, Q8_0 tuvo 7 marcados de 60, Q3-QAT tuvo 4, el archivo de 2 bits tuvo 0 y bf16 tuvo 4. El archivo más pequeño obtuvo la mejor puntuación, que la ficha señala como la puntuación de detector más baja junto con algunos fallos factuales más. Es un recordatorio de que las puntuaciones del detector y la fidelidad factual pueden tirar en sentidos opuestos, y de que la propia ficha dice que los detectores cambian y que esto es una medición en una fecha. Si tu trabajo incluye números y nombres, la columna de hechos es la que hay que sopesar.

El tamaño del archivo tampoco es toda la factura de memoria. La columna de memoria pico es mayor que el tamaño del archivo en todas las filas, porque la ejecución necesita espacio para el contexto y los búferes además de los pesos. La ficha recomienda un contexto de 8192 tokens, que cubre juntos la instrucción, el borrador y la reescritura, y dice que los documentos largos se dividan en los saltos de párrafo. Un buen hábito con cualquier modelo local es tratar el tamaño del archivo como un suelo, no como un presupuesto, y dejar margen.

Otras formas de ponerlo en marcha más rápido

La ficha documenta varias vías además de la aplicación. llama.cpp es la recomendada, con un comando de descarga, un comando de servidor y un breve cliente de Python. Para el chip Apple hay una vía MLX que convierte los pesos a 8 bits en local. Para Ollama, la ficha advierte de que Ollama ignora la plantilla de chat almacenada en el archivo y aplicaría la suya, lo que rompe este modelo, así que ofrece un Modelfile con la plantilla correcta. Para un flujo de línea de comandos con documentos largos, una herramienta complementaria reescribe la prosa fragmento a fragmento, conserva títulos, código, tablas y enlaces, y marca cualquier fragmento donde falta un número.

Merece mención un proyecto de la comunidad, con la salvedad de la propia ficha de que no lo hemos medido. Un colaborador entrenó un modelo borrador de decodificación especulativa para humanizer, y comunica unas 1,5 veces la velocidad en un M5 Pro con MLX, 34,5 tokens por segundo frente a 22,8, y una salida idéntica token a token a la de humanizer solo en su prueba. Funciona junto al modelo principal y requiere la configuración MLX descrita en su propia ficha.

Nuestra opinión

Toma el archivo más grande que tu equipo aguante con margen. Según las propias mediciones del autor, pasar de Q8_0 a Q6_K cuesta 12 reescrituras marcadas más de 420, pasar a Q4_K_M cuesta 14 y pasar a 2 bits cuesta 26. Para trabajo con números y nombres, esa diferencia es lo que hay que sopesar, no el tamaño del archivo. Si estás en un punto intermedio, la recomendación de Q6_K para 16 GB parece el punto dulce de esta tabla: cerca de bf16 en fidelidad y comprobación de hechos, con menos de la mitad de su tamaño.

Sigue leyendo

Todos los artículos, del más reciente al más antiguo, están en el índice del blog de Front.

• Humanizer 12B: las afirmaciones, examinadas: Qué respaldan las fuentes de lo que se dice del modelo local Humanizer 12B.
• Ling 3.1 Flash: qué hace falta para ejecutarlo: El hardware necesario para ejecutar Ling 3.1 Flash.
• Cronología de DeepSeek V4.1 Flash 1017: El lanzamiento de V4.1 Flash de DeepSeek, su actualización del 17 de octubre, precios y parámetros.
• Cronología de Meta Muse Spark Open: La publicación de Meta Muse Spark Open, en orden temporal.
• Cronología de Reflection Beam 501B: La publicación de los pesos de Reflection Beam 501B, en orden temporal.

Preguntas frecuentes

Fuentes

• jialinyyzz/humanizer model card
• jialinyyzz/humanizer-GGUF