Google Sleep, Qwen3-8B AIME-24 79.2% 달성

• Google Research가 지속 학습 시 기존 매개변수를 덮어쓰지 않고 새 저랭크 MoE 전문가에 지식을 저장하는 Sleep 프레임워크를 발표함
• Qwen3-8B 기준 AIME-24에서 73.8%에서 79.2%로, HMMT-25에서 42.4%에서 46.1%로 성능 향상
• SFT 대비 학습 비용은 4배로 높으나, 동일 점수 도달 시 SFT가 3.6~4.8배 더 많은 학습 시간 필요
• 공식 코드 및 가중치 미공개 상태로, 제3자 재현 시 원 논문과 다른 결과가 관찰됨

핵심 메커니즘

• Wake 단계에서 KV 캐시로 쌓인 지식을 Sleep 단계에서 새 매개변수로 이동하여 파국적 망각 방지
• 지식 시딩 시 온-정책 증류(GKD)와 모방 학습(LTI) 결합, 시냅스 가지치기로 용량 확보
• SEAL 기반 꿈(Dreaming) 단계에서 무작위 전문가 선택 및 기울기 기반 선별으로 하위 과제 성능 정제

실험 결과 및 한계

• Llama3-8B 클래스 증분 학습에서 CLINC 97%, Banking 92%, DBpedia 89% 달성
• 낯선 언어 연속 번역 시 ICL보다 높은 ChRF 점수 기록, 장문맥 BABILong에서 10M 토큰 시 91% 유지
• ICLR 2027 투고본에 이론적 기반 수록, 현재 배포 가능한 상태는 아님