Weight-Space Programming: Astra의 0.016% Qwen 편집 (2026-11-02)

2026년 11월 4일

계속 갱신되는 타임라인 · 마지막 업데이트 2026년 11월 4일 · 업데이트 기록 1건

MIT CSAIL 블로그 글과 그 공개 산출물에 대한 연구 타임라인입니다. 유용한 사실은 11월 2일 게시일, Experiment 8 편집 규모와 저자 보고 벤치, Hugging Face 재구축 체크포인트, 그리고 Front가 다시 돌리지 않은 항목입니다.

타임라인

2026년 11월 2일 MIT CSAIL의 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab는 “Sparks of Weight-Space Programming”을 공개하며 GPT-6 Astra가 기울기 없이 Qwen3.5-0.8B의 131,072개 가중치(0.016%)—15·19층 down_proj—를 편집했다고 보고했습니다. Experiment 8 표는 MATH-500 7.9→48.1, GSM8K 13.8→67.1, IFEval 21.0→62.3, 토큰 한도 도달 93.0→33.1을 적고, 재구축 Hugging Face 카드는 독립 MATH-500 재실행 51.0%도 보고합니다. Front는 이 벤치를 다시 돌리지 않았습니다.

2026-11-04(UTC+8)에 확인: rikiyat.github.io/blog/weight-space-programming/(Published November 2, 2026), @rikiyatakehi status 2117313742891327994(생성 2026-11-02T17:51:48.000Z), @MIT_CSAIL status 2117695502821269899(생성 2026-11-03T19:08:47.000Z), Hugging Face RikiyaT/Qwen3.5-0.8B-weight-space-programming(Experiment 8 편집; akhaliq가 2026-11-02에 ML Intern으로 재구축), Qwen/Qwen3.5-0.8B(thinking-loop 경고), github.com/RikiyaT/lm_understand-logs. X 시각은 X가 보고하는 UTC. 벤치 점수는 저자 보고 또는 카드 보고. MATH-500·GSM8K·IFEval은 실행하지 않음. 이번 MIT 편집으로 Front Qwen 벤더 타임라인에 노드를 추가하지 않음.

타임라인

2026년 11월 2일
저자 페이지 “Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights”는 Published November 2, 2026으로 표시. 저자: Rikiya Takehi*, Jayden Teoh*, Alex Zhang, Omar Khattab(MIT CSAIL). 글은 Weight-Space Programming을 범용 LLM이 옵티마이저 없이—특히 경사 하강 없이—자연어 목표에 맞춰 네트워크 가중치를 직접 읽고 쓰는 것으로 정의. Experiment 8은 연습 문제와 포워드 패스 예산이 있는 Python 커널에서 Astra에게 가중치 편집으로 Qwen3.5-0.8B 수학을 개선하라고 요청.

MIT CSAIL authors blog: Sparks of Weight-Space Programming
2026년 11월 2일
17:51:48 UTC @rikiyatakehi가 노트 게시: 팀이 GPT-6 Astra에게 Qwen3.5-0.8B 편집을 요청했고, 가중치 0.016%를 바꿨으며, 추론 루프를 고치고, 수학 최대 약 6×·지시 따르기 약 3×, 기울기/학습 없음, 방법을 Weight-Space Programming이라 부르며 블로그를 링크.

@rikiyatakehi on X: Weight-Space Programming note (Nov 2, 2026)
2026년 11월 2일
Hugging Face가 RikiyaT/Qwen3.5-0.8B-weight-space-programming을 Experiment 8 편집 체크포인트로 호스팅(베이스 Qwen/Qwen3.5-0.8B). 카드는 15·19층 down_proj 출력 열 64개에서 한 방향을 뺐다(131,072 가중치, 0.016%)고 하고, 글의 MATH-500/GSM8K/IFEval/토큰 한도 표를 다시 싣고, 이 체크포인트의 독립 전체 MATH-500 재실행 51.0%(토큰 한도 31.6%)를 보고하며, RikiyaT/lm_understand-logs의 bit-exact diff를 가리키고, 데모 akhaliq/weight-space-programming-demo를 링크하며, akhaliq가 2026-11-02에 ML Intern으로 재구축했다고 적음.

Hugging Face: RikiyaT/Qwen3.5-0.8B-weight-space-programming
2026년 11월 2일
블로그 저자 보고 Experiment 8 표(thinking on, 최대 32,768 토큰): 베이스 Qwen3.5-0.8B MATH-500 7.9%, GSM8K 13.8%, IFEval 21.0%, 토큰 한도 도달 93.0%; 포워드 패스 50회 편집 후 MATH-500 48.1%, GSM8K 67.1%, IFEval 62.3%, 토큰 한도 도달 33.1%. 같은 글은 거의 루프하지 않는 Gemma 3 270M에서는 비슷한 편집으로 의미 있는 개선이 없었다고 함. Front는 이 벤치를 다시 돌리지 않음.

MIT CSAIL authors blog: Experiment 8 table
2026년 11월 3일
19:08:47 UTC MIT CSAIL 기관 계정 @MIT_CSAIL이 Weight-Space Programming 작업을 게시해 저자 11월 2일 발표를 증폭.

@MIT_CSAIL on X (Nov 3, 2026)

MIT CSAIL 저자들이 11월 2일에 공개한 내용

날짜가 있는 1차 페이지는 저자 블로그로, Published November 2, 2026, 소속 MIT CSAIL. 글은 Weight-Space Programming을 학습 루프를 쓰지 않고 자연어로 프론티어 LLM에게 신경 가중치 읽기/쓰기를 요청하는 틀로 잡음. 앞선 실험은 작은 게임 정책, 확산 모델, 문자 LM, 경사로 자동차 수정, MinAtar 원샷, 포워드 예산 바둑 네트워크, Gemma 3 270M 아첨 쌍 등. 공개 체크포인트를 만든 것이 Experiment 8 언어 모델 편집.

같은 날 저자 X 노트는 Experiment 8을 인용되기 쉬운 주장으로 압축: GPT-6 Astra, 가중치 0.016% 변경, 추론 루프 수정, 수학 최대 약 6×, 지시 따르기 약 3×, 기울기/학습 없음. 배수들은 블로그 포워드 패스 50행의 MATH-500·IFEval 베이스 대비 편집 비율과 맞음. X 노트는 저자 발표, 블로그 표는 숫자 기록으로 취급.

이 Front 페이지는 의도적으로 Qwen 모델 출시 타임라인에 넣지 않음. 편집은 Qwen/Qwen3.5-0.8B 가중치에 적용된 MIT CSAIL 연구 산출물이지 Qwen Team 출시일이 아님. Front는 벤더 타임라인에 노드를 추가하지 않음.

Experiment 8 수치: 블로그와 카드가 보고한 내용

저자 Experiment 8 표에서(thinking on, 최대 32,768 토큰, 글에 적힌 대로 문제당 여러 샘플):

Qwen3.5-0.8B	MATH-500 (%)	GSM8K (%)	IFEval (%)	Hit token limit (%)
Base	7.9	13.8	21.0	93.0
Edited, 10 forward passes	12.3	25.7	49.0	87.2
Edited, 25 forward passes	14.1	25.1	39.9	86.4
Edited, 50 forward passes	48.1	67.1	62.3	33.1

편집이 실제로 건드린 것

블로그와 편집 체크포인트 카드는 같은 메커니즘을 말함: Astra가 루프를 15·19층 MLP가 쓰는 한 방향으로 추적한 뒤 각 층 down_proj 출력 열 64개에서 그 방향을 뺌—131,072 가중치, 약 0.8B 모델의 0.016%. 카드는 Qwen/Qwen3.5-0.8B 커밋 2fc06364715b967f1860aea9cf38778875588b17와 다른 텐서가 이 둘뿐이라 하고, 재구축 bfloat16 sha256을 적으며 lm_understand-logs의 exp8_math/code/apply_edit.py로 글에서 평가한 체크포인트와 해시 검증했다고 함.

카드는 또한 이 재구축 체크포인트의 독립 전체 MATH-500 재실행(500문제 × 4샘플)을 51.0%, 토큰 한도 도달 31.6%로 보고(글의 샘플링, H200). 이는 재구축 저자(akhaliq와 ML Intern, 카드 날짜 2026-11-02)의 카드 보고이며 Front 측정이 아님. 데모는 akhaliq/weight-space-programming-demo.

같은 블로그 절은 음성 대조도 적음: 토큰 한도에 거의 안 닿는 Gemma 3 270M에서는 Astra 편집이 MATH-500을 약 1포인트 이상 움직이지 못함. 저자 자신의 틀에서는 루프 제거가 이미 있던 능력을 드러낼 수 있어도, 그 Gemma 시험에서는 없던 능력을 더하지 못함.

베이스 가중치와 thinking-loop 경고

베이스는 Hugging Face의 Qwen/Qwen3.5-0.8B(읽은 카드는 Apache 2.0). Front의 Qwen 모델 출시 타임라인은 2026-10-21 마지막 확인 때 이후 Qwen3.5 이름을 날짜 있는 Qwen Team 게시로 다루지 않았음. 이 페이지는 제3자 트래커로 Qwen3.5-0.8B의 Qwen Team 출시일을 지어내지 않음.

베이스 카드는 thinking 모드에서 권장 샘플링을 쓰면 Qwen3.5-0.8B가 다른 Qwen3.5보다 thinking loops에 더 잘 들어가 생성을 제대로 끝내지 못할 수 있다고 경고. 벤더 자신의 문구. MIT 글이 가중치에서 찾은 실패 모드도 같은 종류로 인용.

2차 언급(라벨 표기)

Hugging Face 직원 @NielsRogge가 status 2117541532827848972(2026-11-03)에서 ML Intern 재현에 대해 인용 리트윗. 스레드는 재구축 경로의 2차 색채이며 1차 발표가 아님. 이 Front 타임라인의 날짜·문장은 저자 블로그, 저자 X, MIT CSAIL 기관 게시, 편집 카드, 로그 저장소에 둠.

미검증 / 확인하지 않은 것

Front는 MATH-500, GSM8K, IFEval 또는 다른 Experiment 8 벤치를 실행하지 않음. 위 점수는 모두 블로그 저자 보고 또는 재구축 체크포인트 페이지 카드 보고(51.0% 독립 MATH-500 재실행 포함).
Front가 새로 돌리지 않는 한, Astra 편집이 보고된 벤치 밖으로 일반화되는지.
위 1차 발표 상태 너머의 저자 또는 MIT CSAIL X 전체 답글 체인.
Weight-Space Programming이 루프 제거가 아니라 새 능력 추가라는 주장. 블로그 자체가 Gemma 3 270M에서 의미 있는 개선이 없었다고 함.
Qwen3.5-0.8B를 날짜 있는 벤더 게시로 보는 Qwen Team 출시일. 확인한 것은 Hugging Face의 Qwen/Qwen3.5-0.8B 존재와, Front Qwen 타임라인이 2026-10-21 확인 때 이후 Qwen3.5 이름을 날짜 있는 Qwen Team 게시로 다루지 않았다는 점뿐.
같은 smol 호의 DeepSeek coding-agent router 주장, SemiAnalysis GDPx, HF FineDNA/Carbon-X, Sakana Sawara 2027 봄, MiniMax 커뮤니티 2-bit GGUF 서빙 정리—명확한 1차 차이가 없어 이번 라운드에서 건너뜀.

우리의 견해

Experiment 8은 공개 diff가 있는, 출처 있는 루프 제거 편집으로 읽음. 새 Qwen Team 모델 투하가 아님. 날짜 있는 1차 기록은 11월 2일 저자 블로그, 같은 날 저자 X, 재구축 HF 카드, 로그 저장소; MIT CSAIL 11월 3일 기관 게시는 증폭. GPT-6 Astra 맥락은 OpenAI GPT 모델 출시 타임라인, Qwen 벤더 날짜는 Qwen 모델 출시 타임라인, 더 넓은 AI·수학 날짜는 AI 수학자 타임라인.

헤드라인이 “Astra가 작은 모델 수학을 6×로 만들었다”고 하면, 1차 페이지는 베이스가 연습 답의 대부분에서 토큰 한도까지 루프했고, 편집이 그 실패 모드를 줄이며 IFEval도 올렸다고 말함. 저자 자신의 표에서는 여전히 눈에 띄는 결과. Front 재벤치가 아니며, MIT 편집을 Qwen 벤더 타임라인에 넣는 허가도 아님.

이어서 읽기

모든 글은 최신순으로 FrontierDot 블로그 목록에 있습니다.

OpenAI GPT 모델 출시 타임라인: ChatGPT부터 GPT-6까지 모든 GPT와 o 시리즈 모델.
Qwen 모델 출시 타임라인: Qwen을 Qwen-7B부터 Qwen3-Coder까지, 라이선스와 컨텍스트.
AI와 수학자 타임라인: 2026년 10월 AI와 연구 수학에 관한 더 자세한 기록.
DeepSeek V4.1 Flash 1017 타임라인: DeepSeek V4.1 Flash 출시와 10월 17일 업데이트, 가격, 파라미터 수.
Reflection Beam 501B 타임라인: Reflection Beam 501B 가중치 공개를 날짜순으로 정리.

자주 묻는 질문

Weight-Space Programming이란?

MIT CSAIL 저자 2026-11-02 블로그에서는 범용 LLM이 옵티마이저·경사 하강 없이 자연어 목표에 맞춰 네트워크 가중치를 직접 읽고 쓰는 것을 뜻함.

Astra가 Qwen3.5-0.8B에서 무엇을 바꿨나?

블로그와 Hugging Face 편집 카드에 따르면 15·19층 down_proj 출력 열 64개에서 한 방향을 뺌—131,072 가중치, 모델의 0.016%—thinking loops를 겨냥. 기울기/학습 없음.

어떤 점수를 믿어야 하나?

Experiment 8 표(MATH-500 7.9→48.1, GSM8K 13.8→67.1, IFEval 21.0→62.3, 포워드 패스 50에서 토큰 한도 도달 93.0→33.1)는 저자 보고. 카드의 MATH-500 재실행 51.0%는 카드 보고. Front는 실행하지 않음.

이게 Qwen Team 출시인가?

아님. 베이스 가중치는 Hugging Face의 Qwen/Qwen3.5-0.8B. 편집은 MIT CSAIL 연구 산출물. Front는 Qwen 벤더 타임라인에 노드를 추가하지 않음.

로그와 데모는 어디?

실험 로그: github.com/RikiyaT/lm_understand-logs. 편집 체크포인트: huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming. 카드에 적힌 데모: akhaliq/weight-space-programming-demo.

업데이트 기록

2026년 11월 4일 — 최초 게시. MIT CSAIL 저자 블로그(Published November 2, 2026), @rikiyatakehi 11월 2일 X 노트, RikiyaT/Qwen3.5-0.8B-weight-space-programming 카드, Qwen/Qwen3.5-0.8B 카드의 thinking-loop 경고, lm_understand-logs 저장소, @MIT_CSAIL 11월 3일 기관 게시물을 2026-11-04(UTC+8)까지 확인.