Weight-Space Programming: a edição 0,016% da Astra no Qwen (2 nov. 2026)

O que os autores do MIT CSAIL publicaram em 2 nov.

A página primária datada é o blog dos autores, Published November 2, 2026, afiliações MIT CSAIL. O post enquadra Weight-Space Programming como pedir a um LLM frontier que leia ou escreva pesos neurais em linguagem natural, sem escrever um loop de treinamento. Experimentos anteriores cobrem políticas de jogos pequenas, modelos de difusão, LMs de caracteres, um conserto carro-na-rampa, one-shots MinAtar, uma rede de Go com orçamento forward e um par de bajulação no Gemma 3 270M. O Experimento 8 é a edição de modelo de linguagem que gerou o checkpoint público.

A nota X do autor no mesmo dia comprime o Experimento 8 em afirmações citáveis: GPT-6 Astra, 0,016% dos pesos alterados, loops de raciocínio corrigidos, matemática até 6×, seguimento de instruções 3×, sem gradientes nem treinamento. Esses multiplicadores batem com as razões base→editado de MATH-500 e IFEval na linha de 50 passes do blog. Trate a nota X como o anúncio dos autores e a tabela do blog como o registro numérico.

Esta página da Front permanece de propósito fora da cronologia de modelos Qwen. A edição é um artefato de pesquisa do MIT CSAIL aplicado aos pesos Qwen/Qwen3.5-0.8B. Não é um dia de lançamento da equipe Qwen, e a Front não acrescenta um nó de fornecedor por isso.

Números do Experimento 8, como o blog e o card os relatam

Da tabela do Experimento 8 dos autores (thinking on, até 32.768 tokens, várias amostras por problema conforme o post):

O que a edição realmente tocou

O blog e o card do checkpoint editado descrevem o mesmo mecanismo: a Astra rastreou os loops até uma direção escrita pelos MLPs das camadas 15 e 19 e a subtraiu de 64 colunas de saída de cada down_proj — 131.072 pesos, 0,016% do modelo ~0,8B. O card diz que só esses dois tensores diferem de Qwen/Qwen3.5-0.8B no commit 2fc06364715b967f1860aea9cf38778875588b17, lista sha256 dos bytes bfloat16 reconstruídos e afirma que a reconstrução foi verificada por hash contra o checkpoint avaliado no post via exp8_math/code/apply_edit.py em lm_understand-logs.

O card também relata uma reexecução independente deste checkpoint reconstruído em MATH-500 completo (500 problemas × 4 amostras) a 51,0%, com 31,6% no limite de tokens, sob o protocolo de amostragem do post em uma H200. É um dado relatado pelo card (akhaliq com ML Intern, data 2026-11-02), não uma medição da Front. Demo: akhaliq/weight-space-programming-demo.

A mesma seção do blog relata o controle negativo: no Gemma 3 270M, que raramente atinge o limite, as edições da Astra não moveram MATH-500 em mais do que cerca de um ponto. O enquadramento dos próprios autores: remover um loop pode revelar uma capacidade que o modelo já tinha; naquele ensaio com Gemma, não acrescentou uma capacidade que faltava.

Pesos base e o aviso de thinking-loop

O checkpoint base está em Qwen/Qwen3.5-0.8B (Apache 2.0 no card lido). A cronologia de modelos Qwen da Front historicamente não tratou nomes Qwen3.5 posteriores como posts datados da equipe Qwen na última verificação de 21 out. 2026. Esta página não inventa um dia de lançamento da equipe Qwen para Qwen3.5-0.8B a partir de rastreadores de terceiros.

O card base avisa que, em modo thinking com os parâmetros de amostragem recomendados, o Qwen3.5-0.8B é mais propenso a entrar em thinking loops do que outros modelos Qwen3.5, o que pode impedir o término correto da geração. Essa é a linguagem do fornecedor. O post do MIT cita o mesmo modo de falha como o que a Astra encontrou nos pesos.

Menção secundária (rotulada)

O membro da equipe do Hugging Face @NielsRogge quote-tweetou a reprodução com ML Intern no status 2117541532827848972 (2026-11-03). Esse fio é cor secundária sobre o caminho de reconstrução, não o anúncio primário. A datação e o texto desta cronologia Front ficam com o blog dos autores, a nota X do autor, o post org do MIT CSAIL, o card do checkpoint editado e o repo de logs.

Não verificado / o que não checamos

• A Front não executou MATH-500, GSM8K, IFEval nem qualquer outro bench do Experimento 8. Cada pontuação acima é relatada pelos autores no blog ou pelo card na página do checkpoint reconstruído (incluindo a reexecução independente de MATH-500 a 51,0%).
• Se a edição da Astra generaliza além dos benches relatados sem uma nova reexecução da Front.
• Cadeias completas de respostas sob os posts X dos autores ou do MIT CSAIL além dos status de anúncio primário citados.
• Qualquer afirmação de que Weight-Space Programming acrescenta capacidades novas em vez de remover loops. O próprio blog diz que o Gemma 3 270M não melhorou de forma significativa.
• Uma data de lançamento da equipe Qwen para Qwen3.5-0.8B como post de fornecedor datado. Confirmamos apenas que os pesos base existem em Qwen/Qwen3.5-0.8B e que a cronologia Qwen da Front não tratou nomes Qwen3.5 posteriores como posts datados da equipe Qwen na última verificação de 21 out. 2026.
• Claims do router coding-agent da DeepSeek, pontuações SemiAnalysis GDPx, HF FineDNA / Carbon-X, Sakana Sawara primavera 2027 e roundups MiniMax community 2-bit GGUF da mesma edição smol — pulados nesta rodada por falta de deltas primários claros.

Nossa leitura

Leia o Experimento 8 como uma edição com fontes de remoção de loops com diff público, não como um novo drop de modelo da equipe Qwen. O registro primário datado é o blog dos autores de 2 nov., a nota X do mesmo dia, o card HF reconstruído e o repo de logs; o post org do MIT CSAIL de 3 nov. é amplificação. Contexto do GPT-6 Astra na cronologia de modelos GPT da OpenAI, datas de fornecedor Qwen na cronologia de modelos Qwen, datação mais ampla de IA e matemática na cronologia de matemáticos de IA.

Se uma manchete diz “Astra deixou um modelo pequeno 6× melhor em matemática”, as páginas primárias dizem que o modelo base entrava em loop até o limite de tokens na maioria das respostas de prática, e que a edição cortou esse modo de falha e também elevou o IFEval. Continua sendo um resultado marcante na própria tabela dos autores. Não é um re-benchmark da Front nem uma licença para dobrar a edição do MIT na cronologia de fornecedor Qwen.

Continue lendo

Todos os artigos, do mais recente ao mais antigo, estão no índice do blog da Front.

• Linha do tempo dos modelos GPT da OpenAI: cada modelo GPT e da série o, do ChatGPT ao GPT-6.
• Linha do tempo dos modelos Qwen: Qwen de Qwen-7B a Qwen3-Coder, com licenças e contexto.
• A IA e os matemáticos, ao longo do tempo: A crônica mais ampla da IA e da matemática de pesquisa em outubro de 2026.
• Linha do tempo do DeepSeek V4.1 Flash 1017: O lançamento do V4.1 Flash da DeepSeek, a atualização de 17 de outubro, preços e parâmetros.
• Cronologia do Reflection Beam 501B: O lançamento dos pesos do Reflection Beam 501B, em ordem temporal.

Perguntas frequentes

Registro de alterações

• 4 de novembro de 2026 — Primeira publicação. Conferidos o blog dos autores MIT CSAIL (Published November 2, 2026), a nota X de 2 nov. de @rikiyatakehi, o card RikiyaT/Qwen3.5-0.8B-weight-space-programming, o aviso de thinking-loop de Qwen/Qwen3.5-0.8B, o repo lm_understand-logs e o post org @MIT_CSAIL de 3 nov., até 2026-11-04 (UTC+8).

Fontes

• MIT CSAIL authors blog: Sparks of Weight-Space Programming (Published November 2, 2026)
• @rikiyatakehi on X: Weight-Space Programming note (Nov 2, 2026)
• @MIT_CSAIL on X (Nov 3, 2026)
• Hugging Face: RikiyaT/Qwen3.5-0.8B-weight-space-programming
• Hugging Face: Qwen/Qwen3.5-0.8B (base)
• GitHub: RikiyaT/lm_understand-logs
• Hugging Face Space: akhaliq/weight-space-programming-demo
• @NielsRogge on X: ML Intern reproduction thread (secondary, Nov 3, 2026)