Aller au contenu
FrontierDot

Weight-Space Programming : l’édition 0,016 % d’Astra sur Qwen (2 nov. 2026)

Chronologie mise à jour en continu · dernière mise à jour · 1 entrée dans le journal des mises à jour

Chronologie de recherche autour d’un billet MIT CSAIL et de ses artefacts publics. Les faits utiles sont la date de publication du 2 novembre, la taille d’édition et les benches rapportés par les auteurs pour l’expérience 8, le checkpoint Hugging Face reconstruit, et ce que Front n’a pas relancé.

Chronologie

Le 2 novembre 2026, les auteurs MIT CSAIL Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab ont publié « Sparks of Weight-Space Programming », rapportant que GPT-6 Astra a édité 131 072 poids (0,016 %) de Qwen3.5-0.8B — down_proj des couches 15 et 19 — sans gradients ; leur tableau d’expérience 8 liste MATH-500 7,9→48,1, GSM8K 13,8→67,1, IFEval 21,0→62,3 et plafonds de jetons 93,0→33,1, tandis que la carte Hugging Face reconstruite signale aussi une reprise indépendante MATH-500 à 51,0 %. Front n’a pas relancé ces benches.

Lu le 2026-11-04 (UTC+8) : rikiyat.github.io/blog/weight-space-programming/ (Published November 2, 2026), @rikiyatakehi status 2117313742891327994 (créé 2026-11-02T17:51:48.000Z), @MIT_CSAIL status 2117695502821269899 (créé 2026-11-03T19:08:47.000Z), Hugging Face RikiyaT/Qwen3.5-0.8B-weight-space-programming (édition expérience 8 ; reconstruit le 2026-11-02 par akhaliq avec ML Intern), Qwen/Qwen3.5-0.8B (avertissement thinking-loop) et github.com/RikiyaT/lm_understand-logs. Les heures X sont en UTC telles que X les rapporte. Les scores sont rapportés par les auteurs ou par la carte. Nous n’avons pas lancé MATH-500, GSM8K ni IFEval. Nous n’avons pas ajouté de nœud à la chronologie vendeur Qwen de Front pour cette édition MIT.

Chronologie

  1. La page des auteurs « Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights » est marquée Published November 2, 2026. Auteurs : Rikiya Takehi*, Jayden Teoh*, Alex Zhang, Omar Khattab (MIT CSAIL). Le billet définit Weight-Space Programming comme un LLM généraliste qui lit et écrit directement les poids d’un réseau — sans optimiseur et en particulier sans descente de gradient — autour d’un objectif en langage naturel. L’expérience 8 demande à Astra d’améliorer Qwen3.5-0.8B en maths en éditant les poids dans un noyau Python avec des problèmes d’entraînement et un budget de passes avant.

    MIT CSAIL authors blog: Sparks of Weight-Space Programming

  2. À 17:51:48 UTC, @rikiyatakehi publie une note : l’équipe a demandé à GPT-6 Astra d’éditer Qwen3.5-0.8B, a changé 0,016 % des poids, a corrigé des boucles de raisonnement, a relevé les maths jusqu’à 6× et le suivi d’instructions 3×, sans gradients ni entraînement, appelle la méthode Weight-Space Programming et lie le blog.

    @rikiyatakehi on X: Weight-Space Programming note (Nov 2, 2026)

  3. Hugging Face héberge RikiyaT/Qwen3.5-0.8B-weight-space-programming comme checkpoint édité de l’expérience 8, base Qwen/Qwen3.5-0.8B. La carte dit que l’édition soustrait une direction de 64 colonnes de sortie de down_proj aux couches 15 et 19 (131 072 poids, 0,016 %), republie le tableau MATH-500 / GSM8K / IFEval / plafond de jetons du billet, signale une reprise indépendante MATH-500 complète de ce checkpoint à 51,0 % (31,6 % au plafond), pointe vers des diffs bit-exact dans RikiyaT/lm_understand-logs, lie la démo akhaliq/weight-space-programming-demo et indique qu’akhaliq a reconstruit le checkpoint avec ML Intern le 2026-11-02.

    Hugging Face: RikiyaT/Qwen3.5-0.8B-weight-space-programming

  4. Tableau d’expérience 8 rapporté par les auteurs sur le blog (thinking on, jusqu’à 32 768 jetons) : base Qwen3.5-0.8B MATH-500 7,9 %, GSM8K 13,8 %, IFEval 21,0 %, plafond 93,0 % ; édité avec 50 passes avant MATH-500 48,1 %, GSM8K 67,1 %, IFEval 62,3 %, plafond 33,1 %. Le même billet dit que Gemma 3 270M, qui boucle rarement, n’a pas progressé de façon significative sous une édition semblable. Front n’a pas relancé ces benches.

    MIT CSAIL authors blog: Experiment 8 table

  5. À 19:08:47 UTC, le compte org MIT CSAIL @MIT_CSAIL publie sur le travail Weight-Space Programming, amplifiant l’annonce des auteurs du 2 nov.

    @MIT_CSAIL on X (Nov 3, 2026)

Ce que les auteurs MIT CSAIL ont publié le 2 nov.

La page primaire datée est le blog des auteurs, Published November 2, 2026, affiliations MIT CSAIL. Le billet présente Weight-Space Programming comme demander à un LLM de frontier de lire ou écrire des poids neuronaux en langage naturel, sans écrire une boucle d’entraînement. Les expériences antérieures couvrent de petites politiques de jeu, des modèles de diffusion, des LM caractères, une réparation voiture-sur-rampe, des one-shots MinAtar, un réseau de Go avec budget de passes, et une paire de sycophantie sur Gemma 3 270M. L’expérience 8 est l’édition de modèle de langage qui a produit le checkpoint public.

La note X de l’auteur le même jour comprime l’expérience 8 en affirmations citables : GPT-6 Astra, 0,016 % des poids changés, boucles de raisonnement corrigées, maths jusqu’à 6×, suivi d’instructions 3×, sans gradients ni entraînement. Ces multiplicateurs correspondent aux ratios base→édité de MATH-500 et IFEval sur la ligne à 50 passes du blog. Traitez la note X comme l’annonce des auteurs, et le tableau du blog comme le registre chiffré.

Cette page Front reste volontairement hors de la chronologie des modèles Qwen. L’édition est un artefact de recherche MIT CSAIL appliqué aux poids Qwen/Qwen3.5-0.8B. Ce n’est pas un jour de sortie Qwen Team, et Front n’y ajoute aucun nœud vendeur.

Chiffres de l’expérience 8, tels que le blog et la carte les rapportent

D’après le tableau d’expérience 8 des auteurs (thinking on, jusqu’à 32 768 jetons, plusieurs échantillons par problème selon le billet) :

Qwen3.5-0.8BMATH-500 (%)GSM8K (%)IFEval (%)Hit token limit (%)
Base7.913.821.093.0
Edited, 10 forward passes12.325.749.087.2
Edited, 25 forward passes14.125.139.986.4
Edited, 50 forward passes48.167.162.333.1

Ce que l’édition a réellement touché

Le blog et la carte du checkpoint édité décrivent le même mécanisme : Astra a tracé les boucles jusqu’à une direction écrite par les MLP des couches 15 et 19, puis l’a soustraite de 64 colonnes de sortie de chaque down_proj — 131 072 poids, 0,016 % du modèle ~0,8B. La carte dit que seuls ces deux tenseurs diffèrent de Qwen/Qwen3.5-0.8B au commit 2fc06364715b967f1860aea9cf38778875588b17, liste les sha256 des octets bfloat16 reconstruits, et affirme que la reconstruction a été vérifiée par hachage contre le checkpoint évalué dans le billet via exp8_math/code/apply_edit.py dans lm_understand-logs.

La carte signale aussi une reprise indépendante de ce checkpoint reconstruit sur MATH-500 complet (500 problèmes × 4 échantillons) à 51,0 %, avec 31,6 % au plafond de jetons, sous le protocole d’échantillonnage du billet sur H200. C’est un chiffre rapporté par la carte (akhaliq avec ML Intern, daté 2026-11-02), pas une mesure Front. Démo : akhaliq/weight-space-programming-demo.

La même section du blog rapporte le contrôle négatif : sur Gemma 3 270M, qui atteint rarement son plafond, les éditions d’Astra n’ont pas déplacé MATH-500 de plus d’environ un point. Le cadrage des auteurs : retirer une boucle peut faire apparaître une capacité déjà présente ; dans cet essai Gemma, cela n’a pas ajouté une capacité absente.

Poids de base et avertissement thinking-loop

Le checkpoint de base est sur Qwen/Qwen3.5-0.8B (Apache 2.0 sur la carte lue). La chronologie des modèles Qwen de Front n’a historiquement pas traité les noms Qwen3.5 plus tardifs comme des posts datés de l’équipe Qwen lors du dernier contrôle du 21 oct. 2026. Cette page n’invente pas un jour de sortie Qwen Team pour Qwen3.5-0.8B à partir de trackers tiers.

La carte de base avertit qu’en mode thinking avec les paramètres d’échantillonnage recommandés, Qwen3.5-0.8B est plus sujet aux thinking loops que d’autres modèles Qwen3.5, ce qui peut empêcher une fin correcte de la génération. C’est le langage du vendeur. Le billet MIT cite le même mode de défaillance comme ce qu’Astra a trouvé dans les poids.

Mention secondaire (étiquetée)

Le membre du staff Hugging Face @NielsRogge a quote-tweeté la reproduction avec ML Intern dans le status 2117541532827848972 (2026-11-03). Ce fil est une couleur secondaire sur le chemin de reconstruction, pas l’annonce primaire. La datation et le libellé de cette chronologie Front restent avec le blog des auteurs, la note X de l’auteur, le post org MIT CSAIL, la carte du checkpoint édité et le dépôt de logs.

Non vérifié / ce que nous n’avons pas contrôlé

  • Front n’a pas lancé MATH-500, GSM8K, IFEval ni aucun autre bench d’expérience 8. Chaque score ci-dessus est rapporté par les auteurs sur le blog ou par la carte sur la page du checkpoint reconstruit (y compris la reprise MATH-500 indépendante à 51,0 %).
  • Si l’édition d’Astra se généralise au-delà des benches rapportés sans une nouvelle reprise Front.
  • Les chaînes de réponses complètes sous les posts X des auteurs ou de MIT CSAIL au-delà des status d’annonce primaire cités.
  • Toute affirmation selon laquelle Weight-Space Programming ajoute de nouvelles capacités plutôt que de retirer des boucles. Le blog lui-même dit que Gemma 3 270M n’a pas progressé de façon significative.
  • Une date de sortie Qwen Team pour Qwen3.5-0.8B comme post vendeur daté. Nous confirmons seulement que les poids de base existent sur Qwen/Qwen3.5-0.8B et que la chronologie Qwen de Front n’a pas traité les noms Qwen3.5 plus tardifs comme des posts datés de l’équipe Qwen au dernier contrôle du 21 oct. 2026.
  • Les claims DeepSeek coding-agent router, scores SemiAnalysis GDPx, HF FineDNA / Carbon-X, Sakana Sawara printemps 2027, et roundups MiniMax community 2-bit GGUF de la même édition smol — sautés ce tour faute de deltas primaires clairs.

Notre lecture

Lisez l’expérience 8 comme une édition sourcée de suppression de boucles avec diff public, pas comme une nouvelle sortie modèle Qwen Team. Le registre primaire daté est le blog des auteurs du 2 nov., la note X du même jour, la carte HF reconstruite et le dépôt de logs ; le post org MIT CSAIL du 3 nov. est une amplification. Contexte GPT-6 Astra sur la chronologie des modèles GPT OpenAI, dates vendeur Qwen sur la chronologie des modèles Qwen, datation plus large IA et maths sur la chronologie des mathématiciens IA.

Si un titre dit « Astra a rendu un petit modèle 6× meilleur en maths », les pages primaires disent que le modèle de base bouclait jusqu’au plafond de jetons sur la plupart des réponses d’entraînement, et que l’édition a réduit ce mode de défaillance tout en relevant IFEval. C’est encore un résultat frappant sur le tableau des auteurs. Ce n’est pas un re-benchmark Front, ni une licence pour plier l’édition MIT dans la chronologie vendeur Qwen.

Pour continuer la lecture

Tous les articles, du plus récent au plus ancien, sont sur l’index du blog Front.

Questions fréquentes

Qu’est-ce que Weight-Space Programming ?

Sur le blog des auteurs MIT CSAIL du 2 nov. 2026, cela désigne un LLM généraliste qui lit et écrit directement les poids d’un réseau — sans optimiseur et sans descente de gradient — autour d’un objectif en langage naturel.

Qu’a changé Astra dans Qwen3.5-0.8B ?

Selon le blog et la carte Hugging Face du checkpoint édité, Astra a soustrait une direction de 64 colonnes de sortie de down_proj aux couches 15 et 19 — 131 072 poids, 0,016 % du modèle — visant les thinking loops. Pas de gradients ni d’entraînement.

Quels scores dois-je croire ?

Traitez le tableau d’expérience 8 (MATH-500 7,9→48,1, GSM8K 13,8→67,1, IFEval 21,0→62,3, plafonds 93,0→33,1 à 50 passes) comme rapporté par les auteurs. Traitez la reprise MATH-500 à 51,0 % de la carte comme rapportée par la carte. Front n’a pas lancé ces benches.

Est-ce une sortie Qwen Team ?

Non. Les poids de base sont Qwen/Qwen3.5-0.8B sur Hugging Face. L’édition est un artefact de recherche MIT CSAIL. Front n’ajoute pas de nœud à la chronologie vendeur Qwen.

Où sont les logs et la démo ?

Logs d’expérience : github.com/RikiyaT/lm_understand-logs. Checkpoint édité : huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming. Espace démo nommé sur la carte : akhaliq/weight-space-programming-demo.

Journal des mises à jour

  • — Première publication. Vérifiés : le blog des auteurs MIT CSAIL (Published November 2, 2026), la note X du 2 nov. de @rikiyatakehi, la carte RikiyaT/Qwen3.5-0.8B-weight-space-programming, l’avertissement thinking-loop de Qwen/Qwen3.5-0.8B, le dépôt lm_understand-logs et le post org @MIT_CSAIL du 3 nov., jusqu’au 2026-11-04 (UTC+8).

Sources