LG AI Research: 온라인 클래스 증분 지속 학습 연구

기존의 이미지 기반 딥러닝 모델은 방대한 데이터를 학습하기 위해 다수의 GPU를 사용하지만, 실제 환경에서는 데이터 보안과 컴퓨ミング 자원의 제한이라는 문제에 직면한다. 데이터를 순차적으로 학습할 경우, 새로운 데이터에 노출될 때 기존 지식을 잊어버리는 치명적 망각(Catastrophic Forgetting) 현상이 발생한다.

이를 해결하기 위해 등장한 지속 학습(Continual Learning) 분야에서 LG AI Research는 AAAI-21에 ASER(Adversarial Shapley Value Experience Replay) 알고리즘을 발표했다. 이 알고리즘은 데이터 가치 평가 방식인 **KNN-SV(K-Nearest Neighbor Shapley Value)**를 지속 학습에 최초로 적용하여 이론적 기반을 구축했다.

지속 학습은 크게 두 가지 설정으로 나뉜다:

• Task-incremental setting: 현재 작업의 데이터와 작업 식별자(Task ID)를 모두 활용하는 비교적 단순한 환경.
• Online-class incremental setting: 작업 정보 없이 데이터 스트림을 통해 실시간으로 학습하며, 모든 클래스를 구분해야 하는 훨씬 까다롭고 실제적인 환경.

ASER는 가장 유망한 방법론인 Experience Replay를 기반으로 한다. 이 방식은 데이터 스트림에서 일부 데이터를 메모리에 저장했다가 새로운 데이터와 함께 재학습하는 방식이다. ASER는 KNN-SV를 활용해 메모리 업데이트와 검색 과정에서 전략적이고 직관적인 데이터 선택을 수행함으로써, 기존 방식보다 높은 정확도를 유지하고 망각을 최소화한다.