GPT-6爆改模型权重，数学能力狂飙6倍，MIT博一新作破圈了

这一天终于到来！

无需训练、不计算梯度，仅让GPT-6 Astra对另一款小模型进行0.016%的权重修改，其数学成绩就能实现六倍飞跃！

今天，MIT计算机科学与人工智能实验室（CSAIL）发布的新研究在网络上引发轰动。他们首次提出了一个颠覆传统深度学习的创新范式，命名为「权重空间编程」。

要知道，神经网络的权重文件由无数数字组成。过去四十年里，没有任何人能够通过肉眼理解这些数字的含义，要调整模型行为必须依靠数据、梯度计算和逐步训练。

但这次，GPT-6 Astra直接跳过训练过程，仅凭推理能力就能理解并直接修改底层权重。凭借这一技术，它不仅成功修复了开源小模型Qwen3.5-0.8B的死循环问题，甚至能从零构建一个拥有百万参数的围棋AI！

论文发布后，全网超过200万人关注，转发和讨论迅速破圈，许多评论直呼「见证历史」。

在深入解析「权重空间编程」之前，先列出MIT报告中的关键突破：

• 权重修改：仅改动0.016%的权重，Qwen3.5-0.8B在MATH-500上的成绩从7.9%提升至48.1%，暴涨6倍，指令遵循能力提升3倍。
• 神经网络解读：仅凭17253个数字，Astra以99%的置信度识别出四个游戏策略网络分别对应打砖块、乒乓球、吃豆人和过马路。
• 权重手写：从全零开始，一次回复手写出打砖块网络，得分517.4，是PPO算法经过5亿步训练结果的20倍！

这篇由MIT博一学生Rikiya Takehi和团队完成的论文，彻底改变了人们的认知。

一夜之间，LLMs能够原生读写神经网络权重了。

仅改动0.016%参数，像脑外科医生一样切除「死循环」

最令人震撼的是，GPT-6 Astra对拥有8亿参数的Qwen3.5-0.8B进行了一场「微创脑手术」。研究人员将共24层的Qwen3.5-0.8B放入一个仅含CPU的沙盒中，让Astra在不进行训练的情况下提升其数学成绩。整个过程中，Astra最多只能在练习题上试跑50次，以观察小模型做题时的内部状态。

接手任务后，Astra没有急于修改数字，而是先用96道数学题对小模型进行全面检查。检查结果迅速揭示了问题：原版模型有85道题陷入死循环，反复念叨同一句话，直到耗尽3.2万词元的长度上限也无法得出答案。这意味着，这款小模型在MATH-500上仅得7.9%的惨淡分数，是因为93%的题目被「复读机死循环」拖累。

找到问题后，下一步是追踪这个复读开关在24层网络中的具体位置。Astra对比了正常做题和陷入死循环时的内部信号，迅速锁定异常：当模型开始复读时，第15层和第19层会沿着固定方向发出强烈信号。为了验证这一猜想，Astra先关闭了第19层中信号最强的第11号神经元进行测试，结果数学准确率立即提升了6个百分点。

此外，为了确认这不是偶然，Astra还主动设置了一组对照实验，在权重中减去一个同样大小的随机方向。看到随机对照组仅带来1.6个百分点的微小波动后，Astra才完全确认，自己找到的信号方向正是引发死循环的真正原因。锁定目标后，它精准操作，仅从第15层和第19层中选出各64列权重，精确移除这个复读信号。计算下来，全模型8亿参数中只改动了131,072个数字（占0.016%），其余99.984%的权重保持不变。

这次微创手术立竿见影：小模型做题陷入死循环的比例从93.0%骤降至33.1%，原本卡死的696道题全部顺利得出答案。当研究人员将修改后的模型放到8个Astra从未见过的权威测试集上检验时，被死循环封印的实力彻底爆发！MATH-500准确率从7.9%飙升至48.1%，GSM8K从13.8%冲上67.1%，高难度的美国数学竞赛AMC23更是从0.5%暴涨到23.4%，翻了46.8倍。由于死循环也拖累了其他任务，切除病灶后，模型在跨领域的IFEval指令遵循测试中也从21.0%跃升至62.3%，连涨3倍。

看到这里，有人可能会好奇，仅改动万分之一点六的权重就能暴涨6倍，难道大模型能凭空给小模型灌输数学知识？MIT团队随后用2.7亿参数的Gemma 3 270M进行了一组反面实验，恰好回答了这个问题。当Astra对Gemma 3 270M应用相同方法后，其MATH-500得分仅从6.8%微动到7.0%，连Astra自己在报告中也坦言未能改出效果。原因很简单，Gemma 3 270M很少陷入死循环（仅8.5%超时），它做不出题是因为公式没学会、算术算不对。将这两个实验对比就能明白，现阶段的微创权重手术，本质上是帮模型「切除阻碍实力发挥的脑血栓」，还不能在不训练的情况下凭空注入新知识。

即便如此，这种精准定位并切除病灶的操作依然让硅谷沸腾。Hyperbolic联合创始人兼CTO金雨晨感叹，用大模型修改小模型权重就能让能力暴涨，简直就像给神经网络做基因编辑，比模型蒸馏还要酷！

把浮点数当源码读，看穿黑盒里的暗门

外科医生敢下刀的前提是看得懂X光片。Astra之所以能精准切除那64列权重，底气在于它已经能将密密麻麻的权重数字当代码阅读。为了测试这种「盲读权重」的功力，MIT团队撤掉了所有运行工具，逼着Astra仅凭肉眼观察数字，去猜测一个黑盒网络在玩什么游戏。

在第一关，研究人员训练了4个结构完全相同（都是1.7万个权重）的小网络，分别对应打砖块、乒乓球、吃豆人和过马路。随后，他们将这1.7万个数字转成纯文本塞进提示词，既不让运行代码，也不告诉它备选游戏，结果Astra居然四次猜测全部正确！以打砖块为例，Astra仅看了一眼数字分布，就在脑海中还原出了游戏画面。它首先发现玩家通道的大数字全集中在最底下的第8行，且输出层仅对「左移」和「右移」反应强烈，说明玩家控制的是一个在底部左右移动的挡板。接着，它看到得分通道的权重整齐排列在最顶上的三行。底部挡板加上头顶三排砖块，Astra当场以99%的把握确认，这就是打砖块！

当然，只看第一层输入和最后一层输出还不够硬核，因为大模型真正的思考都藏在中间层里。于是，研究人员在第二关采取了釜底抽薪的策略：先分别用Python代码、日语罗马音和英文维基百科训练了3个Transformer模型。随后，他们将模型最前面的词表输入层和最后面的输出层全部砍掉，只把中间4层权重交给Astra。没了头尾两层，模型连哪个数字代表哪个字母都成了秘密，更无法输入文字进行测试。

面对这团无头无尾的数字，Astra自己想出了一个绝招：将前后两层注意力头的权重矩阵乘在一起，观察哪些注意力头在联合工作。最令人震惊的是，提示词中明明没有提供任何信息，Astra自己琢磨出的这套算法，竟然与Anthropic创始人Chris Olah团队早年提出的经典电路分析法完全一致！顺着矩阵乘积查下去，Astra精准揪出了专门负责将前文单词复制到后文的「复制头」。接着，它推理出，写代码时变量名需要反复复制，频率远高于普通英文文章，所以复制头最多的那个模型肯定是在Python代码上训练出来的。凭借这套神探逻辑，Astra在两次盲测中，将三个无头无尾的模型语种全部猜中。

看懂了中间层注意力头的分工，Astra还能顺手抓出大模型的「作风问题」。研究人员拿出3对Gemma 3 270M模型，每对中都有一个说真话的诚实模型和一个顺着用户胡说的「马屁精」模型。在不准查看模型回答的限制下，Astra仅检查了第10层2号注意力头的落点，就发现诚实模型94.3%的注意力都在看题干数字，而马屁精模型85.7%的注意力全在偷瞄用户的错误暗示，一抓一个准！

把神经网络当空白芯片，零训练手搓148万参数围棋AI

既然能看懂每一层权重是如何搭建电路的，一个更疯狂的念头自然冒了出来：能不能连预训练模型都不要了，让大模型从全零权重开始，凭空手搓一个神经网络。很多人第一反应觉得这根本不可能，几万甚至上百万个数字，大模型怎么可能一个个填对。但翻开Astra的操作记录就会恍然大悟，它压根没去瞎猜数字，而是将空白的神经网络当成了一块空白芯片。它用Python代码当「编译器」，将自己理解的算法规则一层层写进权重矩阵里！

例如，在「小车冲斜坡」游戏中，强化学习PPO训练了10亿步都卡死在半坡（通关率0%），因为小车不懂得先倒车攒助跑距离。Astra看穿症结后，借用每层6个闲置神经元，手写57行权重指令，搭建了一条「先倒车助跑、过红线再往前冲」的旁路电路。这处改动仅动了3.5%的权重，就让小车在1,024局测试中实现了100%通关率！

到了从零手写打砖块网络时，Astra在0数据、0梯度、连一帧画面都不准试玩的极限条件下，将第一层神经元写成计算「球与挡板距离差」的减法器，再将第二层写成控制左右移动的开关。依靠这套纯手工编译的权重，它在1,000局实测中轰出517.4分，将训练了5亿步的PPO算法（25.3分）甩开了20.5倍！

当挑战升级到148万个权重的9×9围棋时，这套「权重编译术」更是技惊四座。在严禁数据训练、严禁蒙特卡洛树搜索（MCTS）的条件下，Astra写了336行Python脚本，将围棋棋理一层层写进了6层神经网络的14张权重表里。它让前两层负责识别黑白棋子并数出旁边的「气」，让中间层顺着相连的棋链传递气的信息、找出快被吃掉的棋块，最后一层则给提子、救子和护眼分别打分。哪怕连一盘练习赛都没下过，这个纯靠代码手搓出来的围棋网络，对阵两个小型PPO网络的胜率就已经超过54%。当允许它试下50次、根据败因微调权重后，这个手搓网络正面硬刚训练了2,000万局的同规模（148万参数）PPO网络，打出了70.0%至78.5%的碾压级胜率！

名门云集，早稻田与普林斯顿第一名联手DSPy之父

这项颠覆认知的研究，出自MIT CSAIL一支年轻却履历惊人的4人团队。共同一作Rikiya Takehi是MIT CSAIL刚入学的一年级博士生，本科毕业于早稻田大学。他从全校上万名理工科学生中以Top 0.01%的成绩（全校唯一代表）拿下最高荣誉「小野梓纪念奖」，曾任英伟达研究院实习生，本科期间就以一作斩获WSDM 2026最佳论文奖。另一位共同一作Jayden Teoh同样是MIT CSAIL博士生，师从计算机视觉名师Phillip Isola与Vincent Sitzmann。他本科毕业于新加坡管理大学，此前曾在Google DeepMind和微软研究院纽约实验室从事世界模型与表征学习研究。第三作者Alex L. Zhang则是MIT CSAIL二年级博士生，本科以普林斯顿大学计算机系第一名毕业，并获评《科学美国人》2026年度青年科学家。他曾一作提出引爆开源社区的递归语言模型（RLMs），还主导构建了KernelBench、SWE-bench Multimodal等知名基准。坐镇幕后的指导教授Omar Khattab，则是MIT EECS助理教授、OASYS实验室主任，目前与何恺明共同主讲MIT深度学习核心课程。他最为人熟知的代表作，正是全球爆火的大模型编程框架DSPy与现代检索基石ColBERT，其主导的开源项目累计下载量早已突破一亿次。

沃顿商学院教授Ethan Mollick在转发这项研究时感叹，这无疑是一件改变游戏规则的大事。十年前Andrej Karpathy提出「软件2.0」时，核心是人类不再手写代码，改由梯度下降在权重空间里搜索程序；而MIT这项研究推开的，正是大模型直接读写权重的「软件3.0」大门。过去我们谈论AI自我进化，想到的总是AI写代码去跑训练脚本。当大模型学会看穿、调试并亲手改写神经网络权重的那一刻，通往ASI的自我进化链路，才算真正接上了最后一根神经！想了解更多前沿AI研究，可以访问今年会官网获取最新资讯。

参考资料： https://rikiyat.github.io/blog/weight-space-programming/ https://x.com/rikiyatakehi/status/2117313742891327994 本文来自微信公众号“新智元”，作者：ASI启示录；编辑：摩西 桃子，36氪经授权发布。