LG AI Research 435

LG AI 연구원 DI Lab은 ICLR 2024 워크숍에서 모델의 크기와 연산 복잡성을 줄이면서 성능을 유지하는 모델 경량화 연구 성과를 공유했다.

첫 번째 연구인 LeSS는 Filter Pruning과 Low-rank Decomposition을 효율적으로 통합한 기술이다. 기존 방식들이 두 기술을 결합할 때 성능 향상이 제한적이었던 문제를 해결하기 위해, 새로운 SGD 기반 학습 기법인 Threshold Learning을 제안했다.

LeSS는 미분 가능한 모듈을 통해 End-to-end 학습이 가능하며, ResNet56과 MobileNetV2 등 다양한 모델에서 FLOPs를 대폭 감소시키면서도 기존 모델보다 높은 성능을 달성했다.

두 번째 연구인 Sheared Llama는 LLM의 **구조화된 가지치기(Structured Pruning)**를 다룬다. 기존의 가지치기 방식이 비정상적인 모델 구조를 만들어 추론 오버헤드를 발생시키는 문제를 해결하기 위해, 사전에 정의된 Target Structure를 만족하도록 모델을 압축한다.

이 연구는 레이어 및 Hidden 차원과 같은 전역적 요소부터 어텐션 헤드와 같은 지역적 요소까지 다양한 Granularity에서 마스크를 학습하며, 랑그랑주 승수법을 사용하여 모델의 모양에 직접적인 제약 조건을 부과한다.