Claude Opus 5.5, 가중치 직접 편집으로 특정 작업 해결하나 복잡한 벤치마크서는 한계
·2026.11.17 23:48
핵심 내용
Claude Opus 5.5가 가중치 직접 편집으로 특정 패턴 작업은 잘 해결하지만 복잡한 벤치마크에서는 경사 하강법보다 열세인 것으로 확인됐다.
자세히 보기
- Claude Opus 5.5를 활용해 Weight-Space Programming(WSP)을 테스트하는 하네스를 구축함. 이 방식은 경사 하강법 없이 LLM이 신경망 가중치를 직접 편집함.
- 특정 작업에서 뛰어난 성과를 기록함. Two Spirals 99.9%, Bracket Prediction 100%, IMDB 감정 분석 86.2% 달성. IMDB 점수는 경사 하강법보다 0.8점 낮음.
- 다른 벤치마크에서는 낮은 성능을 보임. MNIST에서 64.1%를 기록한 반면 경사 하강법은 85% 이상을 달성함. 학습이 부족한 Shakespeare LSTM은 39.9%에서 40.5%로만 개선됨.
- 실험 결과는 WSP가 LLM이 패턴을 명시적으로 추론할 수 있는 작업(기하학, 단순 규칙 등)에 효과적이지만, 암묵적 학습이 우위인 복잡한 데이터 중심 작업에서는 경사 하강법의 대체재가 될 수 없음을 시사함.
- 하네스는 에이전트를 인터넷 연결이 없는 Docker 컨테이너에 제한하여 NumPy 연산과 고정된 평가 턴 수만 허용함으로써 부정행위를 방지함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.