LG AI Research 238

인공 신경망은 특정 작업에서 뛰어난 성능을 보이지만, 새로운 작업을 배울 때 이전 정보를 잊어버리는 Catastrophic Forgetting(파괴적 망각) 문제에 직면해 있다. 이를 해결하기 위한 Continual Learning(지속 학습) 연구가 활발히 진행 중이다.

첫 번째 주요 연구 방향은 Transformer 모델을 활용한 지속 학습이다. 기존 CNN 기반 모델의 한계를 극복하기 위해 제안된 **DyTox(Dynamic Token Expansion)**는 Transformer의 특성을 활용해 모델 확장을 최소화하면서도 복잡한 하이퍼파라미터 튜닝 없이 효율적으로 새로운 작업을 학습한다. 이는 ImageNet, CIFAR-100 등 다양한 데이터셋에서 우수한 성능을 입증했다.

두 번째 방향은 Unsupervised(또는 Self-Supervised) Continual Learning이다. 최근 연구에 따르면, 레이블 없이 학습하는 Self-supervised Contrastive Learning 방식이 기존의 Cross Entropy를 사용하는 지도 학습 방식보다 파괴적 망각 현상을 줄이는 데 더 효과적임이 증명되었다.