FST가 LLM 연속학습 샘플 효율 3배
Learning, Fast and Slow: Towards LLMs That Adapt Continually [R]
·2026.05.13 19:38
FST가 LLM 연속학습에서 샘플 효율과 망각 문제를 함께 개선했다.
Fast-Slow Training(FST)은 모델 파라미터를 slow weights로, 텍스트 피드백으로 최적화한 컨텍스트를 fast weights로 둔다.
실험에서 빠른 적응은 컨텍스트가 맡고, 일반 추론 패턴은 기반 LLM에 남겨 catastrophic forgetting과 플라스틱성 저하를 줄였다.
- 이유 추론 과제에서 파라미터만 업데이트하는 RL보다 최대 3배 더 샘플 효율적이었다.
- 최종 성능 상한도 더 높았고, base LLM과의 KL divergence를 최대 70% 줄였다.
- 한 과제 학습 뒤 다음 과제로 넘어가도 적응성이 더 잘 유지돼 continual learning 환경에서 RL보다 더 안정적으로 새 과제를 흡수했다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.