AI BriefingMIT CSAIL, GPT-6 Astra로 가중치 직접 수정해 Qwen3.5-0.8B 수학 점수 48.1% 달성
Weight-Space Programming: GPT-6 Astra가 모델의 가중치를 직접 읽고 고친 8가지 실험 (feat. MIT CSAIL)
·2026.11.05 18:30
핵심 내용
옵티마이저 없이 LLM이 가중치를 직접 수정해 Qwen3.5-0.8B의 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸다.
자세히 보기
- MIT CSAIL 연구진이 옵티마이저 없이 범용 LLM이 신경망 가중치를 직접 읽고 수정하는 Weight-Space Programming 개념을 제안함
- OpenAI gpt-6-astra 모델을 이용해 Qwen3.5-0.8B의 반복 루프를 제거하는 가중치 편집을 수행함
- 15층과 19층 MLP의 down_proj에서 반복 방향을 제거하는 방식으로 131,072개 가중치를 수정함
- MATH-500 점수가 7.9%에서 48.1%로 상승했으며 제3자 재평가에서는 51.0%를 기록함
- GSM8K 점수도 13.8%에서 67.1%로 크게 향상되어 토큰 한도 도달률이 93.0%에서 33.1%로 감소함
- 가중치 편집은 모델이 가진 능력을 가린 장애물을 제거할 수는 있으나 없는 능력을 추가하지는 못함
- 수정된 체크포인트와 검증 스크립트가 Hugging Face에 공개되어 재현 및 비교가 가능함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.