LG AI Research 436

심층 신경망(DNN)은 뛰어난 성능을 보이지만 막대한 계산 자원과 메모리를 소모한다. 특히 **LLM(Large Language Models)**의 등장으로 모델 크기를 줄이면서 성능을 유지하는 모델 압축(Model Compression) 기술의 중요성이 더욱 커지고 있다.

LG AI Research의 DI Lab은 ICLR 2024에서 **LeSS(Learning to Select a Structured Architecture over Filter Pruning and Low-Rank Decomposition)**를 발표했다. 기존의 **필터 프루닝(Filter Pruning)**과 **저계수 분해(Low-rank Decomposition)**는 서로 다른 구조적 가정을 기반으로 하여 두 기술을 효과적으로 결합하기 어려웠으나, LeSS는 이를 학습 기반 방식으로 통합했다.

LeSS의 주요 특징은 다음과 같다:

• 학습 기반 랭크 선택: 휴리스틱에 의존하지 않고 적절한 랭크를 선택하기 위해 새로운 SGD 기반 학습 기술인 Threshold Learning을 제안했다.
• 엔드 투 엔드 학습: 미분 가능한 모듈을 통해 필터 프루닝과 저계수 분해를 동시에 최적화한다.
• 성능 입증: ResNet56(CIFAR10) 모델에서 FLOPs를 80% 감소시키면서도 우수한 성능을 보였으며, ImageNet에서도 기존 하이브리드 방식보다 월등한 압축 성능을 증명했다.