LG AI Research 63

대다수의 딥러닝 모델은 대용량 데이터를 병렬 처리하며 학습하지만, 보안이나 저전력 환경에서는 데이터를 나누어 학습해야 하는 연속학습(Continual Learning) 상황이 빈번하게 발생한다. 이때 새로운 데이터를 학습하면 이전 정보를 잊어버리는 치명적 망각(Catastrophic Forgetting) 현상이 발생하는데, 이를 해결하는 것이 연속학습의 핵심 목표다.

LG AI연구원과 토론토대 Scott Sanner 교수팀은 Online Class-incremental Setting 환경에서 망각을 최소화하는 ASER(Adversarial Shapley Value Experience Replay) 알고리즘을 제안했다. 이 방식은 데이터의 중요도를 평가하는 지표인 KNN Shapley value를 연속학습 문제에 최초로 적용했다.

ASER의 주요 특징은 다음과 같다:

• KNN Shapley value 활용: 각 데이터가 특징 공간(Feature Space) 내에서 어떤 위치에 있는지, 그리고 다른 데이터의 분류에 얼마나 영향을 미치는지 평가한다.
• 전략적 메모리 업데이트: 높은 양수 값을 가진 데이터를 우선적으로 메모리에 유지하여 각 종류(Class)에 대해 안정적인 학습을 돕는다.
• 효율적 메모리 회수: 새로운 데이터와 경계에 있는 다른 종류의 데이터를 선택하거나, 해당 종류를 잘 대변하는 데이터를 선별하여 학습함으로써 기존 지식의 변형을 방지한다.

실험 결과, ASER은 기존의 Random Replay나 MIR 방식보다 높은 정확도를 보였으며, 데이터의 분포를 더욱 효과적으로 활용하여 연속학습의 성능을 입증했다.