[CVPR 2022] 연속 학습(Continual Learning) 연구 트렌드

인공신경망은 단일 태스크 학습에서는 우수한 성능을 보이지만, 새로운 태스크를 학습할 때 이전 정보를 잊어버리는 Catastrophic Forgetting 문제에 직면해 있다. 이를 극복하기 위한 최신 연구 방향은 크게 세 가지로 나뉜다.

첫째, Transformer 모델을 활용한 연속 학습이다. 기존 CNN 기반 모델의 복잡한 확장 방식 대신, DyTox 알고리즘은 Transformer의 특징을 이용해 태스크별 토큰과 임베딩을 활용함으로써 효율적이고 효과적인 모델 확장을 제안했다.

둘째, Unsupervised(Self-supervised) 환경에서의 연속 학습이다. 최근 연구들은 Contrastive Learning을 활용할 경우, 기존의 Cross Entropy를 이용한 지도 학습보다 Catastrophic Forgetting을 더 잘 억제할 수 있음을 실험적으로 증명하고 있다.

셋째, 연속 학습 상황에서 **Batch Normalization(BN)**의 적절한 사용에 관한 연구다. 기존 BN은 현재 태스크 데이터에 편향(Bias)되어 이전 태스크의 정보를 왜곡할 수 있으므로, 이를 해결하기 위해 Task-balanced Batch Normalization과 같은 개선된 방법론이 제안되고 있다.