Weight-Space Programming: la edición 0,016 % de Astra en Qwen (2 nov. 2026)

Qué publicaron los autores de MIT CSAIL el 2 nov.

La página primaria fechada es el blog de los autores, Published November 2, 2026, afiliaciones MIT CSAIL. El post enmarca Weight-Space Programming como pedir a un LLM frontier que lea o escriba pesos neuronales en lenguaje natural, sin escribir un bucle de entrenamiento. Experimentos anteriores cubren políticas de juegos pequeñas, modelos de difusión, LM de caracteres, una reparación coche-en-rampa, one-shots de MinAtar, una red de Go con presupuesto forward y un par de sicofantia en Gemma 3 270M. El Experimento 8 es la edición de modelo de lenguaje que produjo el checkpoint público.

La nota X del autor del mismo día comprime el Experimento 8 en afirmaciones citables: GPT-6 Astra, 0,016 % de pesos cambiados, bucles de razonamiento corregidos, mates hasta 6×, seguimiento de instrucciones 3×, sin gradientes ni entrenamiento. Esos multiplicadores coinciden con las ratios base→editado de MATH-500 e IFEval en la fila de 50 pases del blog. Trate la nota X como el anuncio de los autores y la tabla del blog como el registro numérico.

Esta página de Front se mantiene a propósito fuera de la cronología de modelos Qwen. La edición es un artefacto de investigación de MIT CSAIL aplicado a pesos Qwen/Qwen3.5-0.8B. No es un día de lanzamiento del equipo Qwen, y Front no añade un nodo de proveedor por ello.

Números del Experimento 8, según los reportan el blog y la tarjeta

De la tabla del Experimento 8 de los autores (thinking on, hasta 32.768 tokens, varias muestras por problema según el post):

Qué tocó realmente la edición

El blog y la tarjeta del checkpoint editado describen el mismo mecanismo: Astra rastreó los bucles hasta una dirección escrita por los MLP de las capas 15 y 19, y la restó de 64 columnas de salida de cada down_proj — 131.072 pesos, 0,016 % del modelo ~0,8B. La tarjeta dice que solo esos dos tensores difieren de Qwen/Qwen3.5-0.8B en el commit 2fc06364715b967f1860aea9cf38778875588b17, lista sha256 de los bytes bfloat16 reconstruidos y afirma que la reconstrucción se verificó por hash contra el checkpoint evaluado en el post mediante exp8_math/code/apply_edit.py en lm_understand-logs.

La tarjeta también reporta una repetición independiente de este checkpoint reconstruido en MATH-500 completo (500 problemas × 4 muestras) al 51,0 %, con 31,6 % en el límite de tokens, bajo el protocolo de muestreo del post en una H200. Es un dato reportado por la tarjeta (akhaliq con ML Intern, fecha 2026-11-02), no una medición de Front. Demo: akhaliq/weight-space-programming-demo.

La misma sección del blog reporta el control negativo: en Gemma 3 270M, que rara vez alcanza su límite, las ediciones de Astra no movieron MATH-500 más de aproximadamente un punto. El propio marco de los autores: quitar un bucle puede revelar una capacidad que el modelo ya tenía; en ese ensayo con Gemma, no añadió una capacidad que faltaba.

Pesos base y el aviso de thinking-loop

El checkpoint base está en Qwen/Qwen3.5-0.8B (Apache 2.0 en la tarjeta leída). La cronología de modelos Qwen de Front históricamente no trató nombres Qwen3.5 posteriores como posts fechados del equipo Qwen en la última comprobación del 21 oct. 2026. Esta página no inventa un día de lanzamiento del equipo Qwen para Qwen3.5-0.8B a partir de rastreadores de terceros.

La tarjeta base advierte que, en modo thinking con los parámetros de muestreo recomendados, Qwen3.5-0.8B es más propenso a entrar en thinking loops que otros modelos Qwen3.5, lo que puede impedir terminar la generación correctamente. Ese es el lenguaje del proveedor. El post del MIT cita el mismo modo de fallo como lo que Astra encontró en los pesos.

Mención secundaria (etiquetada)

El miembro del staff de Hugging Face @NielsRogge quote-tuiteó la reproducción con ML Intern en el status 2117541532827848972 (2026-11-03). Ese hilo es color secundario sobre la vía de reconstrucción, no el anuncio primario. La datación y el texto de esta cronología Front se quedan con el blog de los autores, la nota X del autor, el post org de MIT CSAIL, la tarjeta del checkpoint editado y el repo de logs.

No verificado / lo que no comprobamos

• Front no ejecutó MATH-500, GSM8K, IFEval ni ningún otro bench del Experimento 8. Cada puntuación de arriba es reportada por los autores en el blog o por la tarjeta en la página del checkpoint reconstruido (incluida la repetición independiente de MATH-500 al 51,0 %).
• Si la edición de Astra se generaliza más allá de los benches reportados sin una nueva repetición de Front.
• Cadenas completas de respuestas bajo los posts X de los autores o de MIT CSAIL más allá de los status de anuncio primario citados.
• Cualquier afirmación de que Weight-Space Programming añade capacidades nuevas en lugar de quitar bucles. El propio blog dice que Gemma 3 270M no mejoró de forma significativa.
• Una fecha de lanzamiento del equipo Qwen para Qwen3.5-0.8B como post de proveedor fechado. Solo confirmamos que los pesos base existen en Qwen/Qwen3.5-0.8B y que la cronología Qwen de Front no trató nombres Qwen3.5 posteriores como posts fechados del equipo Qwen en la última comprobación del 21 oct. 2026.
• Claims del router coding-agent de DeepSeek, puntuaciones SemiAnalysis GDPx, HF FineDNA / Carbon-X, Sakana Sawara primavera 2027 y roundups MiniMax community 2-bit GGUF de la misma edición smol — omitidos esta ronda por falta de deltas primarios claros.

Nuestra lectura

Lea el Experimento 8 como una edición con fuentes de eliminación de bucles con diff público, no como un nuevo drop de modelo del equipo Qwen. El registro primario fechado es el blog de los autores del 2 nov., la nota X del mismo día, la tarjeta HF reconstruida y el repo de logs; el post org de MIT CSAIL del 3 nov. es amplificación. Contexto de GPT-6 Astra en la cronología de modelos GPT de OpenAI, fechas de proveedor Qwen en la cronología de modelos Qwen, datación más amplia de IA y matemáticas en la cronología de matemáticos de IA.

Si un titular dice «Astra hizo un modelo pequeño 6× mejor en mates», las páginas primarias dicen que el modelo base entraba en bucle hasta el límite de tokens en la mayoría de las respuestas de práctica, y que la edición recortó ese modo de fallo y también subió IFEval. Sigue siendo un resultado llamativo en la propia tabla de los autores. No es un re-benchmark de Front ni una licencia para meter la edición del MIT en la cronología de proveedor Qwen.

Sigue leyendo

Todos los artículos, del más reciente al más antiguo, están en el índice del blog de Front.

• Cronología de modelos GPT de OpenAI: cada modelo GPT y de la serie o, de ChatGPT a GPT-6.
• Cronología de modelos Qwen: Qwen de Qwen-7B a Qwen3-Coder, con licencias y contexto.
• La IA y los matemáticos, a lo largo del tiempo: La crónica más amplia de la IA y las matemáticas de investigación en octubre de 2026.
• Cronología de DeepSeek V4.1 Flash 1017: El lanzamiento de V4.1 Flash de DeepSeek, su actualización del 17 de octubre, precios y parámetros.
• Cronología de Reflection Beam 501B: La publicación de los pesos de Reflection Beam 501B, en orden temporal.

Preguntas frecuentes

Registro de cambios

• 4 de noviembre de 2026 — Primera publicación. Revisados el blog de los autores MIT CSAIL (Published November 2, 2026), la nota X del 2 nov. de @rikiyatakehi, la tarjeta RikiyaT/Qwen3.5-0.8B-weight-space-programming, el aviso de thinking-loop de Qwen/Qwen3.5-0.8B, el repo lm_understand-logs y el post org de @MIT_CSAIL del 3 nov., hasta el 2026-11-04 (UTC+8).

Fuentes

• MIT CSAIL authors blog: Sparks of Weight-Space Programming (Published November 2, 2026)
• @rikiyatakehi on X: Weight-Space Programming note (Nov 2, 2026)
• @MIT_CSAIL on X (Nov 3, 2026)
• Hugging Face: RikiyaT/Qwen3.5-0.8B-weight-space-programming
• Hugging Face: Qwen/Qwen3.5-0.8B (base)
• GitHub: RikiyaT/lm_understand-logs
• Hugging Face Space: akhaliq/weight-space-programming-demo
• @NielsRogge on X: ML Intern reproduction thread (secondary, Nov 3, 2026)