跳到内容
FrontierDot

Weight-Space Programming：Astra 改了 Qwen 的 0.016%（Nov 2, 2026）

持续更新的时间线 · 最后更新于 · 更新记录共 1 条

这是一篇关于一篇 MIT CSAIL 博客及其公开产物的研究时间线。有用的事实是 11 月 2 日发表日、Experiment 8 的编辑规模与作者报告基准、Hugging Face 重建检查点，以及 FrontierDot 没有重跑什么。

时间线

2026 年 11 月 2 日，MIT CSAIL 作者 Rikiya Takehi、Jayden Teoh、Alex Zhang 与 Omar Khattab 发表《Sparks of Weight-Space Programming》，报告 GPT-6 Astra 在无梯度情况下编辑了 Qwen3.5-0.8B 的 131,072 个权重（0.016%）——第 15 与 19 层 down_proj；其 Experiment 8 表列出 MATH-500 7.9→48.1、GSM8K 13.8→67.1、IFEval 21.0→62.3，以及触达 token 上限 93.0→33.1，而重建的 Hugging Face 卡片另报告独立 MATH-500 复跑为 51.0%。FrontierDot 没有重跑这些基准。

于 2026-11-04（UTC+8）阅读：rikiyat.github.io/blog/weight-space-programming/（Published November 2, 2026）、@rikiyatakehi status 2117313742891327994（创建时间 2026-11-02T17:51:48.000Z）、@MIT_CSAIL status 2117695502821269899（创建时间 2026-11-03T19:08:47.000Z）、Hugging Face RikiyaT/Qwen3.5-0.8B-weight-space-programming（Experiment 8 编辑；akhaliq 于 2026-11-02 用 ML Intern 重建）、Qwen/Qwen3.5-0.8B（thinking-loop 警告），以及 github.com/RikiyaT/lm_understand-logs。X 时间为 X 报告的 UTC。基准分数为作者报告或卡片报告。我们没有跑 MATH-500、GSM8K 或 IFEval。我们没有为这次 MIT 编辑在 FrontierDot 的 Qwen 厂商时间线追加节点。

时间线

  1. 作者页《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》标注 Published November 2, 2026。列出作者：Rikiya Takehi*、Jayden Teoh*、Alex Zhang、Omar Khattab（MIT CSAIL）。文章将 Weight-Space Programming 定义为通用大语言模型直接读写网络权重——不经过优化器，尤其不做梯度下降——围绕自然语言目标。Experiment 8 要求 Astra 在 Python 内核中，用练习题与前向传递预算，通过编辑权重改进 Qwen3.5-0.8B 的数学表现。

    MIT CSAIL authors blog: Sparks of Weight-Space Programming

  2. 17:51:48 UTC，@rikiyatakehi 发帖称团队请 GPT-6 Astra 编辑 Qwen3.5-0.8B，改动了 0.016% 权重，修复推理循环，数学最高约 6×、指令遵循约 3×，无梯度或训练，称之为 Weight-Space Programming，并链向博客。

    @rikiyatakehi on X: Weight-Space Programming note (Nov 2, 2026)

  3. Hugging Face 托管 RikiyaT/Qwen3.5-0.8B-weight-space-programming，作为 Experiment 8 编辑检查点，基座为 Qwen/Qwen3.5-0.8B。卡片称编辑从第 15 与 19 层 down_proj 的 64 个输出列中减去一个方向（131,072 个权重，0.016%），重印博文的 MATH-500 / GSM8K / IFEval / token 上限表，报告对该检查点的独立完整 MATH-500 复跑为 51.0%（31.6% 触达 token 上限），指向 RikiyaT/lm_understand-logs 中的 bit-exact diff，链接演示 akhaliq/weight-space-programming-demo，并称 akhaliq 于 2026-11-02 用 ML Intern 重建了检查点。

    Hugging Face: RikiyaT/Qwen3.5-0.8B-weight-space-programming

  4. 博文作者报告的 Experiment 8 表（thinking on，最多 32,768 tokens）：基座 Qwen3.5-0.8B MATH-500 7.9%、GSM8K 13.8%、IFEval 21.0%、触达 token 上限 93.0%；50 次前向传递编辑后 MATH-500 48.1%、GSM8K 67.1%、IFEval 62.3%、触达 token 上限 33.1%。同文称很少循环的 Gemma 3 270M 在类似编辑下没有有意义的提升。FrontierDot 没有重跑这些基准。

    MIT CSAIL authors blog: Experiment 8 table

  5. 19:08:47 UTC，MIT CSAIL 机构账号 @MIT_CSAIL 发帖介绍 Weight-Space Programming 工作，放大作者 11 月 2 日的公告。

    @MIT_CSAIL on X (Nov 3, 2026)

MIT CSAIL 作者在 11 月 2 日发表了什么

带日期的一手页面是作者博客，标注 Published November 2, 2026，单位列为 MIT CSAIL。文章把 Weight-Space Programming 写成：用自然语言请前沿大语言模型读写神经权重，而不写训练循环。更早的实验覆盖小游戏策略、扩散模型、字符级语言模型、上车坡修复、MinAtar 一次生成、有前向预算的围棋网络，以及 Gemma 3 270M 上的谄媚配对。Experiment 8 是引出公开检查点的语言模型编辑。

同日的作者 X 笔记把 Experiment 8 压成人们会引用的说法：GPT-6 Astra、改动 0.016% 权重、修复推理循环、数学最高约 6×、指令遵循约 3×、无梯度或训练。这些倍数与博文 50 次前向传递那一行上 MATH-500 与 IFEval 的基座到编辑比值相符。把 X 笔记当作作者公告，把博文表格当作带数字的记录。

本 FrontierDot 页有意不并入 Qwen 模型发布时间线。这次编辑是施加在 Qwen/Qwen3.5-0.8B 权重上的 MIT CSAIL 研究产物。它不是 Qwen Team 的发布日，FrontierDot 也不会为此在厂商时间线追加节点。

Experiment 8 数字：博文与卡片怎么报告

摘自作者 Experiment 8 表（thinking on，最多 32,768 tokens，每题多样本，按博文说明）：

Qwen3.5-0.8BMATH-500 (%)GSM8K (%)IFEval (%)Hit token limit (%)
Base7.913.821.093.0
Edited, 10 forward passes12.325.749.087.2
Edited, 25 forward passes14.125.139.986.4
Edited, 50 forward passes48.167.162.333.1

编辑实际动到了什么

博文与编辑检查点卡片对机制的描述一致：Astra 把循环追溯到第 15 与 19 层 MLP 写出的一个方向，再从每层 down_proj 的 64 个输出列中减去该方向——131,072 个权重，约占 0.8B 模型的 0.016%。卡片称相对 Qwen/Qwen3.5-0.8B 在提交 2fc06364715b967f1860aea9cf38778875588b17 只有这两个张量不同，列出重建 bfloat16 字节的 sha256，并称通过 lm_understand-logs 中的 exp8_math/code/apply_edit.py，重建结果与博文评估检查点做了哈希核对。

卡片还报告对该重建检查点在完整 MATH-500（500 题 × 4 样本）上的独立复跑为 51.0%，31.6% 的答案触达 token 上限，采样协议与博文一致，跑在 H200 上。该复跑由重建作者（akhaliq 与 ML Intern，卡片日期 2026-11-02）报告，不是 FrontierDot 测量。实况演示链向 akhaliq/weight-space-programming-demo。

同一博文在称赞 Qwen 编辑的同时，也报告了阴性对照：在很少触达 token 上限的 Gemma 3 270M 上，Astra 的编辑未能把 MATH-500 推动超过约 1 个百分点。作者自己的表述是：去掉循环可以露出模型本已具备的能力；在那次 Gemma 试验中，它并没有补上模型所缺的能力。

基座权重与 thinking-loop 警告

基座检查点在 Hugging Face 的 Qwen/Qwen3.5-0.8B（我们读到的卡片为 Apache 2.0）。FrontierDot 的 Qwen 模型发布时间线 在 2026-10-21 上次核查时，历史上并未把较晚的 Qwen3.5 名称当作带日期的 Qwen Team 发帖处理。本页不会根据第三方追踪器给 Qwen3.5-0.8B 编造 Qwen Team 发布日。

基座卡片警告：在 thinking 模式、使用推荐采样参数时，Qwen3.5-0.8B 比其他 Qwen3.5 模型更容易进入 thinking loops，可能无法正常结束生成。那是厂商自己的措辞。MIT 博文把 Astra 在权重里找到的失败模式，指向同一类问题。

次级提及（已标注）

Hugging Face 员工 @NielsRogge 在 status 2117541532827848972（2026-11-03）引用转发，谈用 ML Intern 复现该编辑。该线程是关于重建路径的次级色彩，不是一手公告。本 FrontierDot 时间线的定年与措辞仍以作者博客、作者 X 笔记、MIT CSAIL 机构帖、编辑检查点卡片与日志仓库为准。

未能核实 / 我们未检查的内容

  • FrontierDot 没有跑 MATH-500、GSM8K、IFEval 或任何其他 Experiment 8 基准。上文每个分数都是博文上的作者报告，或重建检查点页上的卡片报告（包括 51.0% 的独立 MATH-500 复跑）。
  • 在 FrontierDot 不做新复跑的前提下，Astra 的编辑是否能推广到所报告基准之外。
  • 作者或 MIT CSAIL X 帖在上述一手公告状态之外的完整回复链。
  • 任何声称 Weight-Space Programming 是在“增加新能力”而非“去掉循环”的说法。博文本身写明 Gemma 3 270M 没有有意义的提升。
  • 把 Qwen3.5-0.8B 当作带日期厂商帖的 Qwen Team 发布日。我们只确认基座权重存在于 Hugging Face 的 Qwen/Qwen3.5-0.8B，且 FrontierDot 的 Qwen 时间线在 2026-10-21 上次核查时未把较晚 Qwen3.5 名称当作带日期的 Qwen Team 发帖。
  • 同一期 smol 中的 DeepSeek coding-agent router 说法、SemiAnalysis GDPx 分数、HF FineDNA / Carbon-X、Sakana Sawara 2027 春，以及 MiniMax 社区 2-bit GGUF 部署综述——本轮因缺少清晰一手增量而跳过。

我们的看法

把 Experiment 8 读成带公开 diff 的、有来源的去循环编辑，而不是一次新的 Qwen Team 模型投放。带日期的一手记录是 11 月 2 日作者博客、同日作者 X 笔记、重建 HF 卡片与日志仓库；MIT CSAIL 11 月 3 日机构帖是放大。GPT-6 Astra 的上下文放在 OpenAI GPT 模型发布时间线，Qwen 厂商日期放在 Qwen 模型发布时间线，更宽的 AI 与数学发布定年放在 AI 数学家时间线。

若标题写 “Astra 让小模型数学强了 6×”，一手页面说的是：基座模型在多数练习答案上循环到 token 上限，而这次编辑削弱了该失败模式，同时抬高了 IFEval。按作者自己的表，这仍是醒目结果。它不是 FrontierDot 复测，也不能成为把 MIT 编辑并入 Qwen 厂商时间线的许可。

继续阅读

全部文章按时间倒序排列在 FrontierDot 博客首页。

常见问题

什么是 Weight-Space Programming？

按 MIT CSAIL 作者 2026-11-02 博客，Weight-Space Programming 指通用大语言模型直接读写网络权重——不经过优化器、不做梯度下降——围绕自然语言目标。

Astra 在 Qwen3.5-0.8B 里改了什么？

按博文与 Hugging Face 编辑检查点卡片，Astra 从第 15 与 19 层 down_proj 的 64 个输出列中减去一个方向——131,072 个权重，占模型 0.016%——针对 thinking loops。无梯度或训练。

哪些分数可以采信？

把 Experiment 8 表（MATH-500 7.9→48.1、GSM8K 13.8→67.1、IFEval 21.0→62.3、50 次前向传递下 token 上限触达 93.0→33.1）当作作者报告。把卡片上的 51.0% MATH-500 复跑当作卡片报告。FrontierDot 没有跑这些基准。

这是 Qwen Team 的发布吗？

不是。基座权重是 Hugging Face 上的 Qwen/Qwen3.5-0.8B。这次编辑是 MIT CSAIL 研究产物。FrontierDot 不会为此在 Qwen 厂商时间线追加节点。

日志和演示在哪里？

实验日志：github.com/RikiyaT/lm_understand-logs。编辑检查点：huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming。卡片点名的演示空间：akhaliq/weight-space-programming-demo。

更新记录

  • — 首次发布。已核查 MIT CSAIL 作者博客（Published November 2, 2026）、@rikiyatakehi 11 月 2 日 X 笔记、RikiyaT/Qwen3.5-0.8B-weight-space-programming 卡片、Qwen/Qwen3.5-0.8B 卡片的 thinking-loop 警告、lm_understand-logs 仓库，以及 @MIT_CSAIL 11 月 3 日机构帖，截至 2026-11-04（UTC+8）。

来源