지속적 학습을 위한 FST 프레임워크 제안

LLM의 파라미터 업데이트(Slow weights)는 작업 특화 정보를 흡수하지만, **치명적 망각(Catastrophic forgetting)**과 가소성 저하를 초래합니다. 반면, 인컨텍스트 학습(Fast weights)은 빠르고 저렴하지만 성능 향상에 한계가 있습니다.

본 연구는 이 두 방식을 결합한 Fast-Slow Training (FST) 프레임워크를 제안합니다.

• Slow weights: 모델 파라미터를 유지하여 일반적인 추론 능력을 보존합니다.
• Fast weights: 최적화된 컨텍스트를 통해 텍스트 피드백으로부터 작업 특화 정보를 빠르게 학습합니다.

FST의 주요 성과는 다음과 같습니다:

• 추론 작업에서 기존 RL 방식 대비 최대 3배 높은 샘플 효율성을 보이며, 더 높은 성능 임계치에 도달합니다.
• 베이스 모델과의 KL 발산(KL divergence)을 최대 70% 감소시켜 치명적 망각을 줄입니다.
• 학습 후에도 모델의 **가소성(Plasticity)**을 유지하여, 새로운 작업에 대한 적응력을 높입니다.
• 작업 도메인이 계속 변하는 지속적 학습(Continual learning) 환경에서도 성능 저하 없이 새로운 작업을 지속적으로 습득합니다.