AI 외과의가 신경망을 수술하다
TREE NEWS 보도: 인공지능의 구축 및 유지 방식을 재정의할 수 있는 개발로, MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL)의 연구원들은 대규모 언어 모델이 훈련, 데이터, 경사 하강법 없이 다른 모델의 가중치를 직접 편집하여 성능을 향상시킬 수 있음을 입증했습니다. “가중치 공간 프로그래밍”이라고 불리는 이 실험은 OpenAI의 GPT-6 Astra를 사용하여 오픈소스 Qwen3.5-0.8B 모델을 외과적으로 수정하여 MATH-500 벤치마크에서 수학 점수를 단 20시간 만에 7.9%에서 48.1%로 끌어올렸습니다.
절차: 훈련 없는 정밀성
Astra에게는 일련의 수학 문제, 모델 가중치를 읽고 쓰는 Python 환경, 제한된 추론 호출이 주어졌습니다. Astra는 모델의 15번째 및 19번째 레이어에서 반복 출력 버그를 진단한 다음 64개의 출력 열에서 “수치 방향”을 빼서 총 매개변수의 0.016%인 131,072개의 가중치만 변경했습니다. 그 결과 수학적 추론이 6배 향상되었고 GSM8K(13.8%에서 67.1%)와 지시 따르기(21.0%에서 62.3%)에서도 향상되었습니다.
중요한 점은 Astra가 새로운 수학적 능력을 주입한 것이 아니라 모델이 기존 능력을 사용하지 못하게 하는 장애물을 제거했다는 것입니다. 동일한 기술을 반복 출력이 거의 발생하지 않는 Google의 Gemma 3 270M에 적용했을 때 개선 효과는 미미했습니다.
수학을 넘어: 신경 “게놈” 읽고 쓰기
그 영향은 산술을 훨씬 뛰어넘습니다. Astra는 가중치를 검사하는 것만으로 네 개의 동일한 아키텍처 정책 네트워크가 각각 어떤 Atari 게임으로 훈련되었는지 성공적으로 식별했습니다. 또한 Breakout을 플레이하는 네트워크를 처음부터 작성하여 517.4점을 기록했는데, 이는 5억 단계 후 PPO 훈련 네트워크의 점수 25.3을 훨씬 능가합니다. 또 다른 테스트에서는 가중치의 3.5%만 수정하여 멈춘 자율 주행 컨트롤러를 수정하여 1,024회 시도에서 100% 성공률을 달성했습니다.
이 실험들은 LLM이 가중치 값에 인코딩된 의미를 이해할 수 있을 뿐만 아니라 전통적인 훈련 알고리즘이 생성하기 어려운 행동을 달성하기 위해 이를 조작할 수 있음을 시사합니다.
암호화폐 및 분산형 AI에 대한 시사점
암호화폐 생태계에 이 돌파구는 중요한 영향을 미칩니다. 오픈소스 모델에 의존하는 분산형 AI 네트워크는 값비싼 재훈련 없이 신속하고 저비용의 모델 수리 및 맞춤화의 이점을 누릴 수 있습니다. 온체인 AI 에이전트는 언젠가 자체 가중치를 감사하거나 수정할 수 있지만, 연구원들은 재귀적 자기 개선을 명시적으로 입증하지 않았습니다. 가중치 검사를 통해 모델 무결성을 검증하는 능력은 분산형 추론 마켓플레이스의 보안을 강화할 수도 있습니다.
그러나 이 기술은 아직 만병통치약이 아닙니다. 0.8B 매개변수의 소형 모델에서만 입증되었고 Gemma 3에서는 실패했습니다. 프로세스에는 20시간과 광범위한 시행착오가 필요했으며 독립적인 재현은 보고되지 않았습니다. 전통적인 미세 조정에 대한 비용 이점은 아직 검증되지 않았습니다.
향후 전망
MIT의 Omar Khattab과 그의 팀은 가중치 공간 프로그래밍이 텍스트, 이미지, 오디오와 함께 생성 AI의 일급 양식이 될 수 있다고 믿습니다. 만약 검증된다면 다른 AI 시스템을 기본적으로 이해하고 최적화하는 AI 시스템으로 이어질 수 있으며, 이는 흥미로운 가능성과 심각한 안전 우려를 동시에 제기합니다. AI가 AI를 수정하기 시작하면서 도구와 창조자의 경계가 모호해지고 강력한 감독의 필요성이 더욱 시급해집니다.
