AI外科医がニューラルネットワークを手術
TREE NEWS 報道： 人工知能の構築と維持の方法を再定義する可能性のある開発として、MITのコンピュータ科学・人工知能研究所（CSAIL）の研究者たちは、大規模言語モデルが別のモデルの重みを直接編集して性能を向上させることができることを実証した。訓練、データ、勾配降下法は一切不要である。「重み空間プログラミング」と呼ばれるこの実験では、OpenAIのGPT-6 Astraを使用してオープンソースのQwen3.5-0.8Bモデルを外科的に修正し、MATH-500ベンチマークでの数学スコアをわずか20時間余りで7.9%から48.1%に向上させた。
手順：訓練なしの精密さ
Astraには一連の数学問題、モデルの重みを読み書きするためのPython環境、および限られた推論呼び出しが与えられた。Astraはモデルの15層目と19層目にある反復出力のバグを診断し、64個の出力列から「数値方向」を減算した。変更された重みは131,072個のみで、全パラメータの0.016%に過ぎない。その結果、数学的推論が6倍に改善され、GSM8K（13.8%から67.1%）と指示追従（21.0%から62.3%）でも向上が見られた。
重要なのは、Astraが新たな数学的能力を注入したのではなく、モデルが既存の能力を活用するのを妨げていた障害を取り除いたことだ。同じ手法を、反復出力がほとんど発生しないGoogleのGemma 3 270Mに適用した場合、改善はごくわずかだった。
数学を超えて：ニューラル「ゲノム」の読み書き
その影響は算術をはるかに超える。Astraは、4つの同一アーキテクチャのポリシーネットワークがどのAtariゲームで訓練されたかを、重みを調べるだけで特定することに成功した。また、Breakoutをプレイするネットワークをゼロから作成し、517.4のスコアを記録した。これは、5億ステップ訓練後のPPO訓練ネットワークのスコア25.3をはるかに上回る。別のテストでは、スタックした自動運転コントローラを重みのわずか3.5%を変更するだけで修正し、1,024回の試行で100%の成功率を達成した。
これらの実験は、LLMが重みの値にエンコードされた意味を理解できるだけでなく、従来の訓練アルゴリズムでは生み出すのが難しい行動を実現するためにそれらを操作できることを示唆している。
暗号通貨と分散型AIへの影響
暗号通貨エコシステムにとって、この突破は重大な影響を及ぼす。オープンソースモデルに依存する分散型AIネットワークは、高価な再訓練なしに迅速かつ低コストのモデル修復とカスタマイズの恩恵を受ける可能性がある。オンチェーンAIエージェントは、いつの日か自身の重みを監査または変更するかもしれないが、研究者たちは再帰的自己改善を明示的に実証していない。重み検査を通じてモデルの整合性を検証する能力は、分散型推論マーケットプレイスのセキュリティを強化する可能性もある。
しかし、この技術はまだ万能薬ではない。0.8Bパラメータの小型モデルでのみ証明されており、Gemma 3では失敗した。プロセスには20時間と広範な試行錯誤が必要で、独立した再現は報告されていない。従来のファインチューニングに対するコスト優位性は未検証のままである。
今後の展望
MITのOmar Khattabと彼のチームは、重み空間プログラミングがテキスト、画像、音声と並ぶ生成AIの第一級モダリティになる可能性があると考えている。もし検証されれば、他のAIシステムをネイティブに理解し最適化するAIシステムにつながるかもしれない。これはエキサイティングな可能性と深刻な安全上の懸念の両方を提起する。AIがAIを変更し始めると、ツールと創造者の境界は曖昧になり、堅牢な監視の必要性はますます緊急になる。
