Open LLM Leaderboard 참여 후기

2023년 생성형 AI의 급격한 발전 속에서 Hugging Face Open LLM Leaderboard는 LLM의 성능을 검증하는 주요 벤치마크로 자리 잡았다. 이 리더보드는 ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8k 등 6가지 지표를 통해 모델의 추론, 지식, 진실성, 수학적 능력을 다각도로 평가한다.

저비용·고효율 모델 생성을 위한 모델 병합(Model Merge) 기술도 주목받고 있다. 모델 병합은 별도의 추가 학습 없이 기존 LLM들을 결합하여 성능을 높이는 방법으로, 탄소 배출을 줄이면서도 효율적인 모델링이 가능하다.

주요 모델 병합 알고리즘은 다음과 같다.

• SLERP (Spherical Linear Interpolation): 고차원 공간에서 벡터의 크기를 보존하며 구형 공간에서 부드럽게 보간하는 방식이다.
• TIES-Merging: 매개변수의 중복을 제거(Trim)하고, 기호 충돌을 해결(Elect Sign)하며, 불일치를 해소하여 효율적으로 병합한다.
• Passthrough: 서로 다른 LLM의 레이어를 직접 연결하여 새로운 모델을 만드는 방식으로, 모델의 매개변수 규모를 확장할 수 있다.