LG AI Research 477

최근 **LLM(Large Language Model)**은 자연어 이해와 생성 등 다양한 영역에서 뛰어난 성과를 보이고 있으나, 모델의 크기가 커짐에 따라 막대한 연산 능력과 비용, 추론 속도 저하라는 과제에 직면해 있습니다.

이러한 문제를 해결하기 위해 최근 연구는 더 효율적인 알고리즘과 아키텍처를 통해 지속 가능한 LLM을 만드는 데 집중하고 있습니다. 본 글에서는 ACL 2024에서 발표된 주요 연구를 중심으로 모델의 성능과 자원 사용을 최적화하는 방법론을 살펴봅니다.

LayerSkip(Meta) 연구는 LLM의 추론 속도를 높이기 위해 고안되었습니다. 모델의 초기 레이어(Early Layers)가 이미 정확한 예측을 수행할 수 있다는 점에 착안하여, 다음과 같은 3단계 접근 방식을 제안합니다.

• Layer Dropout 및 Early Exit Loss 학습: 모델의 특정 레이어에서 조기에 추론을 종료할 수 있도록 학습 효율을 개선합니다.
• Early Exit을 통한 추론: 사전 정의된 레이어 이후에 연산을 건너뛰어 계산 비용을 절감합니다.
• Self-speculative Decoding: 초기 예측을 생성(Drafting)한 후 나머지 레이어를 통해 이를 검증 및 교정하여 정확도 손실을 방지하고 메모리 사용량을 줄입니다.

실험 결과, LayerSkip은 코드 생성 작업에서 기존 Llama2 7B 모델을 압도하는 성능을 보였으며, CNN-DM 및 코드 생성 작업 모두에서 기준 모델 대비 약 1.83배 빠른 속도를 달성했습니다.