AI外科医生:无需训练,直接修改神经网络
TREE NEWS 报道, 麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究团队展示了一项名为「权重空间编程」的技术:让一个强大的语言模型直接编辑另一个模型的权重,从而提升其性能——全程无需训练、无需数据、无需梯度下降。实验中,OpenAI的GPT-6 Astra对开源模型Qwen3.5-0.8B进行了「手术」,仅用20小时就将其在MATH-500基准上的数学得分从7.9%提升至48.1%。
精准手术:0.016%的参数改动
Astra获得了数学练习题、可读写模型权重的Python环境以及有限次数的推理调用权限。它诊断出模型第15层和第19层存在导致重复输出的「数值方向」,并从64个输出列中减去该方向,仅修改了131,072个权重,占总参数的0.016%。效果立竿见影:数学成绩提升6倍,GSM8K从13.8%升至67.1%,指令遵循从21.0%升至62.3%。
研究团队强调,Astra并未注入新的数学能力,而是移除了阻碍模型发挥已有能力的障碍。在重复输出问题较少的Gemma 3 270M模型上,同样的方法几乎没有效果,印证了这一结论。
不止于数学:读写神经「基因组」
该技术的潜力远不止算术。Astra仅通过检查权重,就能识别出四个架构相同的Atari游戏策略网络分别对应哪个游戏。它还能从零开始「写」出一个Breakout游戏网络,得分517.4,远超经过5亿步PPO训练的网络的25.3分。在另一个测试中,它仅修改了3.5%的权重,就修复了一个卡在坡道上的自动驾驶控制器,在1024次测试中全部成功。
这些实验表明,大语言模型不仅能理解权重数值所代表的行为,还能直接操纵权重,实现传统训练算法难以达到的效果。
对加密与去中心化AI的影响
对于加密生态而言,这一突破意义重大。依赖开源模型的去中心化AI网络可以借此实现快速、低成本的模型修复和定制,无需昂贵的重新训练。链上AI代理未来或许能审计或修改自身权重,尽管研究人员明确表示并未展示递归自我改进。通过权重检查验证模型完整性,也可能增强去中心化推理市场的安全性。
然而,该技术目前并非万能。它仅在0.8B参数的小模型上成功,在Gemma 3上失败。整个过程耗时20小时,需要大量试错,且尚无独立团队复现。与传统微调相比的成本优势也未经验证。
未来展望
MIT团队的Omar Khattab等人认为,权重空间编程有望成为生成式AI的「一等公民模态」,与文本、图像、音频并列。如果得到验证,未来AI系统将能原生地理解和优化其他AI系统——这既带来了激动人心的可能性,也引发了严重的安全担忧。当AI开始改造AI,工具与创造者之间的界限变得模糊,稳健的监管需求愈发迫切。




