기여도 기반 입력 샘플링 및 블록 단위 특징 집계 기반의 CNN 설명 기술

최근 딥러닝 모델(DNN)이 제조, 의료 등 다양한 분야에 도입되었으나, 수많은 파라미터와 비선형 연산으로 인해 모델의 판단 근거를 알 수 없는 '블랙박스' 문제가 발생하고 있다. 이를 해결하기 위해 AI 모델이 어떤 특징을 활용해 예측했는지 분석하는 설명 가능한 AI(XAI) 연구가 중요해지고 있다.

기존의 XAI 방식은 몇 가지 한계가 있다:

• Backpropagation 기반: 특징 간의 의존성 정보를 파악하기 어렵고 해석력이 낮다.
• CAM 기반: 상위 레이어의 특징을 사용하지만 해상도가 낮아 히트맵이 흐릿하거나 무관한 특징을 강조할 수 있다.
• Perturbation 기반: 입력 샘플링 방식(RISE 등)은 연산 비용이 매우 높고 결과가 무작위적이며, 입력 최적화 방식(Extremal perturbation 등)은 계산 비용이 크고 전역 최적해를 찾지 못할 위험이 있다.

LG AI Research는 이러한 한계를 극복하기 위해 **SISE(Semantic Input Sampling for Explanation)**라는 새로운 알고리즘을 개발했다. 이 기술은 이미지 인식 과정에서 DNN의 예측 근거를 나타내는 가중치 특징 맵을 찾아내고, 이를 히트맵 형태로 시각화하는 것을 목표로 한다.