오픈 27B 모델, 그라디언트 없이 셀프-리라이팅으로 성능 향상

·2026.11.21 01:29

핵심 내용

오픈 27B 모델이 포워드 패스만으로 가중치를 재작성해 정확도를 6.6포인트 높였다

자세히 보기

  • 연구진이 그라디언트나 학습 실행 없이 언어 모델이 자체 가중치를 편집해 성능을 향상시키는 '셀프-리라이팅(self-rewriting)' 기법 제시
  • 오픈소스 27B 모델이 자체 가중치 편집을 적용한 후, 미확인 문제에서 정확도를 6.6포인트 향상시킴
  • 손상된 자기 복본을 수리해 재학습이나 원본 가중치 접근 없이 이미지 작업에서 원래 정확도의 80% 이상을 회복함
  • 셀프-리라이팅 능력은 모델 패밀리 중 가장 큰 모델에서만 나타남. 작은 모델은 과정에서 성능이 개선되지 않거나 스스로를 손상시킴
  • 테스트 타임 스텔링과 달리 이득이 가중치에 기록되어 답변당 비용이 발생하지 않으며, 학습과 달리 표준 서빙과 유사한 포워드 패스만 사용함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.