오픈 27B 모델, 그라디언트 없이 셀프-리라이팅으로 성능 향상
·2026.11.21 01:29
핵심 내용
오픈 27B 모델이 포워드 패스만으로 가중치를 재작성해 정확도를 6.6포인트 높였다
자세히 보기
- 연구진이 그라디언트나 학습 실행 없이 언어 모델이 자체 가중치를 편집해 성능을 향상시키는 '셀프-리라이팅(self-rewriting)' 기법 제시
- 오픈소스 27B 모델이 자체 가중치 편집을 적용한 후, 미확인 문제에서 정확도를 6.6포인트 향상시킴
- 손상된 자기 복본을 수리해 재학습이나 원본 가중치 접근 없이 이미지 작업에서 원래 정확도의 80% 이상을 회복함
- 셀프-리라이팅 능력은 모델 패밀리 중 가장 큰 모델에서만 나타남. 작은 모델은 과정에서 성능이 개선되지 않거나 스스로를 손상시킴
- 테스트 타임 스텔링과 달리 이득이 가중치에 기록되어 답변당 비용이 발생하지 않으며, 학습과 달리 표준 서빙과 유사한 포워드 패스만 사용함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.