Google Research, LLM 지속 학습용 sleep framework 공개

• Google Research가 LLM의 지속적 학습을 가능하게 하는 sleep framework를 제안함. 새로운 사실 통합과 추론 능력 향상을 도모하고, catastrophic forgetting을 완화함.
• BABILong 벤치마크에서 10M 토큰까지 거의 완벽한 장기 컨텍스트 스케일링을 달성함. GPT-4와 Titans를 능가함.
• Sleep 강화 모델은 AIME 24/25에서 79.2%, AIME 25에서 69.0%, HMMT 25에서 46.1%의 정확도를 기록함. SFT와 GRPO 등 기존 베이스라인을 상회함.
• 만주어와 칼라망어 등 미확인 언어의 지속적 번역 작업에서 성능 저하가 거의 0에 가까움. 표준 베이스라인은 심각한 catastrophic forgetting을 겪음.

Mechanism

• Active(wake) 단계에서는 임시 정보를 단기 기억에 저장하고, sleep 단계에서는 입력 처리를 중단하여 오프라인 통합을 수행함.
• 기억 통합은 Mixture-of-Experts(MoE)와 Hope 아키텍처를 사용해 low-rank expert를 활성화함. Generalized Knowledge Distillation(GKD)과 강화학습을 통해 지식을 전달함.
• Dreaming 단계에서는 무작위 expert 선택과 gradient 기반 데이터 선택을 통해 합성 학습 샘플을 생성하여 자기 개선에 활용함.

Theoretical Basis

• Knowledge seeding은 on-policy 동작과 의미적 품질을 보존하는 low-rank 압축 문제로 정의함.
• Dreaming 중 무작위 expert 활성화는 gradient 방향을 넓혀 학습 기하학을 개선하고 최적화를 안정화함.