LG AI Research: ACL 2024를 통해 본 LLM 효율성 향상 연구

최근 **LLM(Large Language Models)**은 자연어 이해와 생성 등 다양한 분야에서 뛰어난 성능을 보이고 있으나, 모델의 파라미터가 수천억 개로 커짐에 따라 학습 및 추론 비용이 급격히 증가하는 문제를 겪고 있다.

이러한 문제를 해결하기 위해 ACL 2024에서는 모델의 성능을 유지하면서도 자원 사용량을 최적화하는 다양한 알고리즘과 아키텍처 연구가 집중적으로 다뤄졌다.

대표적인 연구인 Meta의 LayerSkip은 LLM의 추론 속도를 높이기 위한 방법론을 제시한다. 이 방식은 모델의 하위 레이어에서도 충분히 정확한 예측이 가능하다는 점에 착안하여, **Early Exit(조기 종료)**과 Self-Speculative Decoding 기술을 활용한다.

LayerSkip의 주요 접근 방식은 다음과 같다:

• Layer Dropout 및 Early Exit Loss 적용: 학습 시 레이어별로 드롭아웃 확률을 다르게 적용하고, 하위 레이어가 언어 모델링 작업에 더 잘 기여하도록 직접적인 손실 함수를 도입한다.
• 효율적인 추론: 추론 과정에서 모델이 조기에 결과를 예측하면 나머지 레이어를 거치지 않고 종료함으로써 메모리 사용량을 줄이고 속도를 높인다.