언어 모델에게도 잠이 필요하다: 자기 수정 및 메모리 통합 학습법

기존 LLM은 즉각적인 예측이나 인컨텍스트 학습(in-context learning)에는 뛰어나지만, 지속적으로 학습하거나 단기적인 지식을 장기적인 파라미터로 효과적으로 전이하는 능력은 부족하다.

이를 해결하기 위해 인간의 학습 과정을 모방한 'Sleep' 패러다임을 도입한다. 이 방식은 모델이 단기 기억을 안정적인 장기 지식으로 정제하고, 스스로를 재귀적으로 개선할 수 있도록 설계되었다.

'Sleep' 단계는 크게 두 가지 과정으로 구성된다:

• 메모리 통합(Memory Consolidation): 'Knowledge Seeding'이라 불리는 상향식 증류(distillation) 과정이다. 더 작은 모델의 메모리를 더 큰 네트워크로 증류하여, 지식을 보존하면서도 더 넓은 수용량을 확보한다. 이를 위해 온폴리시 증류(on-policy distillation)와 RL(강화학습) 기반의 모방 학습을 결합한 새로운 Generalized Distillation 프로세스를 사용한다.
• 꿈꾸기(Dreaming): 모델이 스스로 성능을 개선하는 단계다. RL을 사용하여 합성 데이터 커리큘럼을 생성하며, 인간의 감독 없이도 새로운 지식을 복습하고 기존 능력을 정교화한다.

실험 결과, 이 방식은 장기적 지속 학습(long-horizon continual learning), 지식 통합, 그리고 퓨샷 일반화(few-shot generalization) 작업에서 그 효과가 입증되었다.