Zum Inhalt
FrontierDot

Weight-Space Programming: Astras 0,016%-Qwen-Edit (2. Nov. 2026)

Fortlaufende Zeitleiste · zuletzt aktualisiert · 1 Eintrag im Änderungsprotokoll

Das ist eine Forschungs-Zeitlinie zu einem MIT-CSAIL-Blogpost und den öffentlichen Artefakten darum. Nützlich sind das Publikationsdatum 2. November, die Experiment-8-Editgröße und die autorenberichteten Benches, der neu gebaute Hugging-Face-Checkpoint und was Front nicht erneut gelaufen hat.

Zeitleiste

Am 2. November 2026 veröffentlichten die MIT-CSAIL-Autoren Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab „Sparks of Weight-Space Programming“ und berichten, dass GPT-6 Astra ohne Gradienten 131.072 Gewichte (0,016 %) in Qwen3.5-0.8B editiert hat — down_proj der Schichten 15 und 19; ihre Experiment-8-Tabelle listet MATH-500 7,9→48,1, GSM8K 13,8→67,1, IFEval 21,0→62,3 und Token-Limit-Treffer 93,0→33,1, während die neu gebaute Hugging-Face-Karte einen unabhängigen MATH-500-Rerun mit 51,0 % meldet. Front hat diese Benches nicht erneut gelaufen.

Gelesen am 2026-11-04 (UTC+8): rikiyat.github.io/blog/weight-space-programming/ (Published November 2, 2026), @rikiyatakehi Status 2117313742891327994 (erstellt 2026-11-02T17:51:48.000Z), @MIT_CSAIL Status 2117695502821269899 (erstellt 2026-11-03T19:08:47.000Z), Hugging Face RikiyaT/Qwen3.5-0.8B-weight-space-programming (Experiment-8-Edit; am 2026-11-02 von akhaliq mit ML Intern neu gebaut), Qwen/Qwen3.5-0.8B (Thinking-Loop-Warnung) und github.com/RikiyaT/lm_understand-logs. X-Zeiten sind UTC laut X. Benchmark-Werte sind autoren- oder kartenberichtet. Wir haben MATH-500, GSM8K oder IFEval nicht gelaufen. Wir haben für diesen MIT-Edit keinen Knoten an Fronts Qwen-Vendor-Zeitlinie angehängt.

Zeitleiste

  1. Die Autorenseite „Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights“ ist mit Published November 2, 2026 gekennzeichnet. Autoren: Rikiya Takehi*, Jayden Teoh*, Alex Zhang, Omar Khattab (MIT CSAIL). Der Post definiert Weight-Space Programming so, dass ein allgemeines LLM Netzgewichte direkt liest und schreibt — ohne Optimizer und insbesondere ohne Gradientenabstieg — um ein natürlichsprachliches Ziel. Experiment 8 bittet Astra, Qwen3.5-0.8B per Gewichts-Edit in einem Python-Kernel mit Übungsaufgaben und Forward-Pass-Budget in Mathe zu verbessern.

    MIT CSAIL authors blog: Sparks of Weight-Space Programming

  2. Um 17:51:48 UTC postet @rikiyatakehi eine Notiz: Das Team ließ GPT-6 Astra Qwen3.5-0.8B editieren, änderte 0,016 % der Gewichte, behob Reasoning-Loops, steigerte Mathe bis 6× und Instruction Following 3×, ohne Gradienten oder Training, nennt die Methode Weight-Space Programming und verlinkt den Blog.

    @rikiyatakehi on X: Weight-Space Programming note (Nov 2, 2026)

  3. Hugging Face hostet RikiyaT/Qwen3.5-0.8B-weight-space-programming als Experiment-8-Checkpoint, Basis Qwen/Qwen3.5-0.8B. Die Karte sagt, der Edit subtrahiere eine Richtung von 64 Ausgabespalten von down_proj in den Schichten 15 und 19 (131.072 Gewichte, 0,016 %), druckt die MATH-500-/GSM8K-/IFEval-/Token-Limit-Tabelle des Posts nach, meldet einen unabhängigen vollen MATH-500-Rerun dieses Checkpoints mit 51,0 % (31,6 % am Token-Limit), verweist auf bitgenaue Diffs in RikiyaT/lm_understand-logs, verlinkt die Demo akhaliq/weight-space-programming-demo und sagt, akhaliq habe den Checkpoint am 2026-11-02 mit ML Intern neu gebaut.

    Hugging Face: RikiyaT/Qwen3.5-0.8B-weight-space-programming

  4. Autorenberichtete Experiment-8-Tabelle im Blog (Thinking an, bis 32.768 Tokens): Basis Qwen3.5-0.8B MATH-500 7,9 %, GSM8K 13,8 %, IFEval 21,0 %, Token-Limit 93,0 %; editiert mit 50 Forward-Passes MATH-500 48,1 %, GSM8K 67,1 %, IFEval 62,3 %, Token-Limit 33,1 %. Derselbe Post sagt, Gemma 3 270M, das selten loopt, habe sich unter ähnlichem Editieren nicht sinnvoll verbessert. Front hat diese Benches nicht erneut gelaufen.

    MIT CSAIL authors blog: Experiment 8 table

  5. Um 19:08:47 UTC postet der MIT-CSAIL-Org-Account @MIT_CSAIL über die Weight-Space-Programming-Arbeit und verstärkt die Autorenankündigung vom 2. Nov.

    @MIT_CSAIL on X (Nov 3, 2026)

Was die MIT-CSAIL-Autoren am 2. Nov. veröffentlicht haben

Die primäre datierte Seite ist der Autorenblog, Published November 2, 2026, Zugehörigkeit MIT CSAIL. Der Post rahmt Weight-Space Programming als Aufforderung an ein Frontier-LLM, neuronale Gewichte in natürlicher Sprache zu lesen oder zu schreiben, ohne eine Trainingsschleife zu schreiben. Frühere Experimente decken kleine Spielpolicys, Diffusionsmodelle, Zeichen-LMs, eine Auto-auf-Rampe-Reparatur, MinAtar-One-Shots, ein Go-Netz mit Forward-Budget und ein Sycophancy-Paar auf Gemma 3 270M ab. Experiment 8 ist der Sprachmodell-Edit, der den öffentlichen Checkpoint hervorbrachte.

Die gleichzeitige Autorennotiz auf X verdichtet Experiment 8 zu zitierfähigen Claims: GPT-6 Astra, 0,016 % der Gewichte geändert, Reasoning-Loops behoben, Mathe bis 6×, Instruction Following 3×, keine Gradienten oder Training. Diese Multiplikatoren passen zu den Basis-zu-Edit-Verhältnissen von MATH-500 und IFEval in der 50-Forward-Pass-Zeile des Blogs. Die X-Notiz ist die Autorenankündigung; die Blog-Tabelle ist der Zahlenbeleg.

Diese Front-Seite bleibt absichtlich außerhalb der Qwen-Modell-Release-Zeitlinie. Der Edit ist ein MIT-CSAIL-Forschungsartefakt auf Qwen/Qwen3.5-0.8B-Gewichten. Es ist kein Qwen-Team-Release-Tag, und Front hängt keinen Vendor-Knoten dafür an.

Experiment-8-Zahlen, wie Blog und Karte sie melden

Aus der Experiment-8-Tabelle der Autoren (Thinking an, bis 32.768 Tokens, mehrere Samples pro Aufgabe laut Post):

Qwen3.5-0.8BMATH-500 (%)GSM8K (%)IFEval (%)Hit token limit (%)
Base7.913.821.093.0
Edited, 10 forward passes12.325.749.087.2
Edited, 25 forward passes14.125.139.986.4
Edited, 50 forward passes48.167.162.333.1

Was der Edit tatsächlich angefasst hat

Blog und editierte Checkpoint-Karte beschreiben denselben Mechanismus: Astra führte Loops auf eine Richtung zurück, die die MLPs der Schichten 15 und 19 schreiben, und subtrahierte sie von 64 Ausgabespalten jedes down_proj — 131.072 Gewichte, 0,016 % des ~0,8B-Modells. Die Karte sagt, nur diese beiden Tensoren unterschieden sich von Qwen/Qwen3.5-0.8B bei Commit 2fc06364715b967f1860aea9cf38778875588b17, listet sha256-Hashes der neu gebauten bfloat16-Bytes und sagt, der Rebuild sei über exp8_math/code/apply_edit.py in lm_understand-logs gegen den im Post bewerteten Checkpoint hash-verifiziert worden.

Die Karte meldet außerdem einen unabhängigen Rerun dieses neu gebauten Checkpoints auf vollem MATH-500 (500 Aufgaben × 4 Samples) mit 51,0 %, 31,6 % am Token-Limit, unter dem Sampling-Protokoll des Posts auf einer H200. Das ist kartenberichtet von den Rebuild-Autoren (akhaliq mit ML Intern, Kartendatum 2026-11-02), keine Front-Messung. Demo: akhaliq/weight-space-programming-demo.

Derselbe Blogabschnitt nennt die Negativkontrolle: Bei Gemma 3 270M, das selten ans Token-Limit stößt, bewegten Astras Edits MATH-500 um nicht mehr als etwa einen Punkt. Die Autorenrahmen selbst: Eine Loop-Entfernung kann vorhandene Fähigkeit freilegen; in jenem Gemma-Versuch fügte sie keine fehlende Fähigkeit hinzu.

Basisgewichte und die Thinking-Loop-Warnung

Der Basis-Checkpoint liegt bei Qwen/Qwen3.5-0.8B auf Hugging Face (Apache 2.0 auf der gelesenen Karte). Fronts Qwen-Modell-Release-Zeitlinie hat spätere Qwen3.5-Namen historisch nicht als datierte Qwen-Team-Posts behandelt, zuletzt geprüft am 21. Okt. 2026. Diese Seite erfindet keinen Qwen-Team-Release-Tag für Qwen3.5-0.8B aus Drittanbieter-Trackern.

Die Basiskarte warnt, dass Qwen3.5-0.8B im Thinking-Modus mit den empfohlenen Sampling-Parametern anfälliger für Thinking-Loops sei als andere Qwen3.5-Modelle und die Generierung möglicherweise nicht korrekt beendet. Das ist die Sprache des Vendors. Der MIT-Post zitiert denselben Fehlermodus als das, was Astra in den Gewichten fand.

Sekundärer Hinweis (gekennzeichnet)

Hugging-Face-Mitarbeiter @NielsRogge zitierte in Status 2117541532827848972 (2026-11-03) über die Reproduktion mit ML Intern. Der Thread ist sekundäre Farbe zum Rebuild-Pfad, nicht die Primärankündigung. Datierung und Wortlaut dieser Front-Zeitlinie bleiben beim Autorenblog, der Autoren-X-Notiz, dem MIT-CSAIL-Org-Post, der editierten Checkpoint-Karte und dem Logs-Repo.

Nicht verifiziert / was wir nicht geprüft haben

  • Front hat MATH-500, GSM8K, IFEval oder andere Experiment-8-Benches nicht gelaufen. Jeder Wert oben ist autorenberichtet im Blog oder kartenberichtet auf der Rebuild-Checkpoint-Seite (einschließlich des unabhängigen MATH-500-Reruns mit 51,0 %).
  • Ob Astras Edit über die berichteten Benches hinaus generalisiert, ohne frischen Front-Rerun.
  • Vollständige Antwortketten unter den Autoren- oder MIT-CSAIL-X-Posts jenseits der oben genannten Primärstatus.
  • Jeder Anspruch, Weight-Space Programming füge neue Fähigkeiten hinzu statt Loops zu entfernen. Der Blog selbst sagt, Gemma 3 270M habe sich nicht sinnvoll verbessert.
  • Ein Qwen-Team-Release-Datum für Qwen3.5-0.8B als datierter Vendor-Post. Wir bestätigen nur, dass die Basisgewichte unter Qwen/Qwen3.5-0.8B auf Hugging Face liegen und dass Fronts Qwen-Zeitlinie spätere Qwen3.5-Namen zuletzt am 21. Okt. 2026 nicht als datierte Qwen-Team-Posts behandelt hat.
  • DeepSeek-Coding-Agent-Router-Claims, SemiAnalysis-GDPx-Werte, HF FineDNA / Carbon-X, Sakana Sawara Frühjahr 2027 und MiniMax-Community-2-bit-GGUF-Serving-Roundups aus derselben Smol-Ausgabe — diesmal übersprungen mangels klarer Primärdeltas.

Unsere Einschätzung

Lesen Sie Experiment 8 als sourced Loop-Removal-Edit mit öffentlichem Diff, nicht als neuen Qwen-Team-Modelldrop. Der datierte Primärrekord ist der Autorenblog vom 2. Nov., die gleichzeitige Autoren-X-Notiz, die neu gebaute HF-Karte und das Logs-Repo; der MIT-CSAIL-Org-Post vom 3. Nov. ist Verstärkung. GPT-6-Astra-Kontext auf der OpenAI-GPT-Modell-Release-Zeitlinie, Qwen-Vendor-Daten auf der Qwen-Modell-Release-Zeitlinie, breitere KI-und-Mathe-Datierung auf der KI-Mathematiker-Zeitlinie.

Wenn eine Headline sagt „Astra machte ein kleines Modell 6× besser in Mathe“, sagen die Primärseiten: Das Basismodell loopte bei den meisten Übungsantworten ins Token-Limit, und der Edit dämpfte diesen Fehlermodus und hob auch IFEval. Das bleibt ein auffälliges Ergebnis auf der eigenen Tabelle der Autoren. Es ist kein Front-Re-Benchmark und keine Lizenz, den MIT-Edit in Qwens Vendor-Zeitlinie zu falten.

Weiterlesen

Alle Beiträge, neueste zuerst, stehen im Front-Blog.

Häufige Fragen

Was ist Weight-Space Programming?

Im MIT-CSAIL-Autorenblog vom 2. Nov. 2026 bedeutet es, dass ein allgemeines LLM Netzgewichte direkt liest und schreibt — ohne Optimizer und ohne Gradientenabstieg — um ein natürlichsprachliches Ziel.

Was hat Astra in Qwen3.5-0.8B geändert?

Laut Blog und Hugging-Face-Edit-Karte subtrahierte Astra eine Richtung von 64 Ausgabespalten von down_proj in den Schichten 15 und 19 — 131.072 Gewichte, 0,016 % des Modells — gegen Thinking-Loops. Keine Gradienten oder Training.

Welche Scores sollte ich vertrauen?

Behandeln Sie die Experiment-8-Tabelle (MATH-500 7,9→48,1, GSM8K 13,8→67,1, IFEval 21,0→62,3, Token-Limit 93,0→33,1 bei 50 Forward-Passes) als autorenberichtet. Behandeln Sie den MATH-500-Rerun der Karte mit 51,0 % als kartenberichtet. Front hat diese Benches nicht gelaufen.

Ist das ein Qwen-Team-Release?

Nein. Die Basisgewichte sind Qwen/Qwen3.5-0.8B auf Hugging Face. Der Edit ist ein MIT-CSAIL-Forschungsartefakt. Front hängt keinen Knoten an die Qwen-Vendor-Zeitlinie an.

Wo sind Logs und Demo?

Experiment-Logs: github.com/RikiyaT/lm_understand-logs. Editierter Checkpoint: huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming. Auf der Karte genannte Demo: akhaliq/weight-space-programming-demo.

Änderungsprotokoll

  • — Erstveröffentlichung. Geprüft: MIT-CSAIL-Autorenblog (Published November 2, 2026), @rikiyatakehis X-Notiz vom 2. Nov., Karte RikiyaT/Qwen3.5-0.8B-weight-space-programming, Thinking-Loop-Warnung auf Qwen/Qwen3.5-0.8B, Repo lm_understand-logs und @MIT_CSAIL-Org-Post vom 3. Nov., Stand 2026-11-04 (UTC+8).

Quellen