本文へ
FrontierDot

Weight-Space Programming：Astra の 0.016% Qwen 編集（2026-11-02）

更新中のタイムライン · 最終更新 · 更新履歴 1 件

これは MIT CSAIL のブログ投稿とその公開成果物に関する研究タイムラインです。役立つ事実は 11 月 2 日の公開日、Experiment 8 の編集規模と著者報告ベンチ、Hugging Face の再構築チェックポイント、そして Front が再実行しなかったことです。

タイムライン

2026 年 11 月 2 日、MIT CSAIL の Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab は「Sparks of Weight-Space Programming」を公開し、GPT-6 Astra が勾配なしで Qwen3.5-0.8B の 131,072 個の重み（0.016%）——層 15 と 19 の down_proj——を編集したと報告。Experiment 8 の表は MATH-500 7.9→48.1、GSM8K 13.8→67.1、IFEval 21.0→62.3、トークン上限到達 93.0→33.1 を示し、再構築された Hugging Face カードは独立 MATH-500 再実行 51.0% も報告。Front はこれらのベンチを再実行していません。

2026-11-04（UTC+8）に確認：rikiyat.github.io/blog/weight-space-programming/（Published November 2, 2026）、@rikiyatakehi status 2117313742891327994（作成 2026-11-02T17:51:48.000Z）、@MIT_CSAIL status 2117695502821269899（作成 2026-11-03T19:08:47.000Z）、Hugging Face RikiyaT/Qwen3.5-0.8B-weight-space-programming（Experiment 8 編集；akhaliq が 2026-11-02 に ML Intern で再構築）、Qwen/Qwen3.5-0.8B（thinking-loop 警告）、github.com/RikiyaT/lm_understand-logs。X の時刻は X が報告する UTC。ベンチマーク得点は著者報告またはカード報告。MATH-500、GSM8K、IFEval は実行していません。この MIT 編集のために Front の Qwen ベンダー・タイムラインへノードを追加していません。

タイムライン

  1. 著者ページ「Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights」は Published November 2, 2026 と表記。著者：Rikiya Takehi*、Jayden Teoh*、Alex Zhang、Omar Khattab（MIT CSAIL）。投稿は Weight-Space Programming を、汎用 LLM がオプティマイザを介さず、特に勾配降下なしで、自然言語の目標に沿ってネットワーク重みを直接読み書きすることと定義。Experiment 8 は、練習問題とフォワードパス予算つきの Python カーネルで、Astra に重み編集による Qwen3.5-0.8B の数学改善を求める。

    MIT CSAIL authors blog: Sparks of Weight-Space Programming

  2. 17:51:48 UTC、@rikiyatakehi がノートを投稿：チームは GPT-6 Astra に Qwen3.5-0.8B の編集を依頼し、重みの 0.016% を変更、推論ループを修正、数学最大約 6×・指示追従約 3×、勾配・学習なし、手法を Weight-Space Programming と呼び、ブログへリンク。

    @rikiyatakehi on X: Weight-Space Programming note (Nov 2, 2026)

  3. Hugging Face は RikiyaT/Qwen3.5-0.8B-weight-space-programming を Experiment 8 の編集チェックポイントとしてホスト（ベース Qwen/Qwen3.5-0.8B）。カードは層 15・19 の down_proj の出力列 64 本から一方向を減算（131,072 重み、0.016%）と説明し、投稿の MATH-500 / GSM8K / IFEval / トークン上限表を再掲、このチェックポイントの独立フル MATH-500 再実行を 51.0%（トークン上限到達 31.6%）と報告、RikiyaT/lm_understand-logs の bit-exact diff を指し、デモ akhaliq/weight-space-programming-demo をリンクし、akhaliq が 2026-11-02 に ML Intern で再構築したと記す。

    Hugging Face: RikiyaT/Qwen3.5-0.8B-weight-space-programming

  4. ブログ上の著者報告 Experiment 8 表（thinking on、最大 32,768 トークン）：ベース Qwen3.5-0.8B は MATH-500 7.9%、GSM8K 13.8%、IFEval 21.0%、トークン上限到達 93.0%；フォワードパス 50 回の編集後は MATH-500 48.1%、GSM8K 67.1%、IFEval 62.3%、トークン上限到達 33.1%。同投稿は、ほとんどループしない Gemma 3 270M では同様の編集で意味ある改善がなかったと述べる。Front はこれらのベンチを再実行していない。

    MIT CSAIL authors blog: Experiment 8 table

  5. 19:08:47 UTC、MIT CSAIL 機関アカウント @MIT_CSAIL が Weight-Space Programming の仕事について投稿し、著者の 11 月 2 日発表を増幅。

    @MIT_CSAIL on X (Nov 3, 2026)

MIT CSAIL 著者が 11 月 2 日に公開したもの

日付つきの一次ページは著者ブログで、Published November 2, 2026、所属は MIT CSAIL。投稿は Weight-Space Programming を、学習ループを書かずにフロンティア LLM へ自然言語で神経重みの読み書きを求める枠組みとして提示。先行実験は小さなゲーム方策、拡散モデル、文字 LM、坂道の車の修復、MinAtar のワンショット、フォワード予算つきの囲碁ネット、Gemma 3 270M の迎合ペアなど。公開チェックポイントを生んだのが Experiment 8 の言語モデル編集。

同日の著者 X ノートは Experiment 8 を引用されやすい主張に圧縮：GPT-6 Astra、重みの 0.016% 変更、推論ループ修正、数学最大約 6×、指示追従約 3×、勾配・学習なし。これらの倍率は、ブログのフォワードパス 50 行における MATH-500 と IFEval のベース対編集比と一致。X ノートを著者発表、ブログ表を数値記録として扱う。

この Front ページは意図的に Qwen モデル公開タイムライン に入れない。編集は Qwen/Qwen3.5-0.8B 重みに適用された MIT CSAIL の研究成果物であり、Qwen Team の公開日ではない。Front はベンダー・タイムラインへノードを追加しない。

Experiment 8 の数値：ブログとカードの報告

著者の Experiment 8 表より（thinking on、最大 32,768 トークン、投稿どおり問題あたり複数サンプル）：

Qwen3.5-0.8BMATH-500 (%)GSM8K (%)IFEval (%)Hit token limit (%)
Base7.913.821.093.0
Edited, 10 forward passes12.325.749.087.2
Edited, 25 forward passes14.125.139.986.4
Edited, 50 forward passes48.167.162.333.1

編集が実際に触ったもの

ブログと編集チェックポイントカードは同じ仕組みを述べる：Astra はループを層 15・19 の MLP が書く一方向にたどり、各層 down_proj の出力列 64 本からその方向を減算——131,072 重み、約 0.8B モデルの 0.016%。カードは Qwen/Qwen3.5-0.8B のコミット 2fc06364715b967f1860aea9cf38778875588b17 から異なるのはこの 2 テンソルのみとし、再構築 bfloat16 の sha256 を示し、lm_understand-logs の exp8_math/code/apply_edit.py で投稿評価チェックポイントとハッシュ検証したと書く。

カードはまた、この再構築チェックポイントの独立フル MATH-500 再実行（500 問 × 4 サンプル）を 51.0%、トークン上限到達 31.6% と報告（投稿のサンプリング、H200）。これは再構築著者（akhaliq と ML Intern、カード日付 2026-11-02）のカード報告であり、Front の測定ではない。デモは akhaliq/weight-space-programming-demo。

同じブログ節は陰性対照も記す：トークン上限にほとんど達しない Gemma 3 270M では、Astra の編集は MATH-500 を約 1 ポイント以上動かさなかった。著者自身の枠組みでは、ループ除去は既にある能力を露出できても、その Gemma 試行では欠けた能力を追加できなかった。

ベース重みと thinking-loop 警告

ベースは Hugging Face の Qwen/Qwen3.5-0.8B（読んだカードは Apache 2.0）。Front の Qwen モデル公開タイムライン は 2026-10-21 時点の確認では、後続の Qwen3.5 名を日付つき Qwen Team 投稿として扱ってこなかった。本ページは第三者トラッカーから Qwen3.5-0.8B の Qwen Team 公開日を捏造しない。

ベースカードは、thinking モードで推奨サンプリングを使うと、Qwen3.5-0.8B は他の Qwen3.5 より thinking loops に入りやすく、生成を正しく終了できない場合があると警告する。これはベンダー自身の文言。MIT 投稿が重み内で見つけた失敗モードも同種のものとして引用する。

二次的な言及（ラベル付き）

Hugging Face スタッフ @NielsRogge が status 2117541532827848972（2026-11-03）で、ML Intern による再現について引用リツイート。スレッドは再構築経路の二次情報であり、一次発表ではない。本 Front タイムラインの日付と文言は著者ブログ、著者 X、MIT CSAIL 機関ポスト、編集カード、ログ倉庫に留める。

未検証 / 確認しなかったこと

  • Front は MATH-500、GSM8K、IFEval、その他 Experiment 8 ベンチを実行していない。上記の得点はすべてブログの著者報告、または再構築チェックポイントページのカード報告（51.0% の独立 MATH-500 再実行を含む）。
  • Front が新たに再実行しない限り、Astra の編集が報告ベンチ以外へ一般化するか。
  • 上記の一次発表ステータスを超える、著者または MIT CSAIL の X 返信チェーン全体。
  • Weight-Space Programming がループ除去ではなく新能力追加だという主張。ブログ自体が Gemma 3 270M では意味ある改善がなかったと述べる。
  • Qwen3.5-0.8B を日付つきベンダー投稿とする Qwen Team 公開日。確認したのは Hugging Face 上の Qwen/Qwen3.5-0.8B の存在と、Front の Qwen タイムラインが 2026-10-21 時点で後続 Qwen3.5 名を日付つき Qwen Team 投稿として扱っていなかったことのみ。
  • 同 smol 版の DeepSeek coding-agent router 主張、SemiAnalysis GDPx、HF FineDNA / Carbon-X、Sakana Sawara 2027 春、MiniMax コミュニティ 2-bit GGUF 提供まとめ——明確な一次差分がないため本ラウンドではスキップ。

私たちの見解

Experiment 8 は公開 diff 付きの、出典のあるループ除去編集として読む。新しい Qwen Team モデル投下ではない。日付つき一次記録は 11 月 2 日の著者ブログ、同日の著者 X、再構築 HF カード、ログ倉庫；MIT CSAIL の 11 月 3 日機関ポストは増幅。GPT-6 Astra の文脈は OpenAI GPT モデル公開タイムライン、Qwen ベンダー日付は Qwen モデル公開タイムライン、より広い AI と数学の日付は AI 数学者タイムライン へ。

見出しが「Astra が小さなモデルの数学を 6× にした」と言うなら、一次ページはベースが練習解答の多くでトークン上限までループし、編集がその失敗モードを削り IFEval も上げたと述べる。著者自身の表では依然として目を引く結果だ。Front の再ベンチではなく、MIT 編集を Qwen ベンダー・タイムラインへ折り込む許可でもない。

あわせて読みたい

全記事は新しい順に FrontierDot ブログ一覧 にあります。

よくある質問

Weight-Space Programming とは？

MIT CSAIL 著者の 2026-11-02 ブログでは、汎用 LLM がオプティマイザや勾配降下なしに、自然言語の目標に沿ってネットワーク重みを直接読み書きすることを指す。

Astra は Qwen3.5-0.8B の何を変えた？

ブログと Hugging Face 編集カードによれば、層 15・19 の down_proj の出力列 64 本から一方向を減算——131,072 重み、モデルの 0.016%——で thinking loops を狙った。勾配・学習なし。

どの得点を信頼すべき？

Experiment 8 表（MATH-500 7.9→48.1、GSM8K 13.8→67.1、IFEval 21.0→62.3、フォワードパス 50 でトークン上限到達 93.0→33.1）は著者報告。カードの MATH-500 再実行 51.0% はカード報告。Front は未実行。

これは Qwen Team のリリースか？

いいえ。ベース重みは Hugging Face の Qwen/Qwen3.5-0.8B。編集は MIT CSAIL の研究成果物。Front は Qwen ベンダー・タイムラインへノードを追加しない。

ログとデモはどこ？

実験ログ：github.com/RikiyaT/lm_understand-logs。編集チェックポイント：huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming。カード記載のデモ：akhaliq/weight-space-programming-demo。

更新履歴

  • — 初回公開。MIT CSAIL 著者ブログ（Published November 2, 2026）、@rikiyatakehi の 11 月 2 日 X ノート、RikiyaT/Qwen3.5-0.8B-weight-space-programming カード、Qwen/Qwen3.5-0.8B カードの thinking-loop 警告、lm_understand-logs リポジトリ、@MIT_CSAIL の 11 月 3 日機関ポストを 2026-11-04（UTC+8）まで確認。

出典