가중치 수정 없는 LLM 수평적 확장 기술
Scaling LLMs horizontally: hidden-state coupling without weight modification [R]
·2026.05.18 22:08
고정된 언어 모델들을 선형 브릿지로 연결해 가중치 수정 없이 성능을 높이는 Residual Coupling 기술을 제안한다.
**Residual Coupling (RC)**는 가중치를 고정(frozen)한 언어 모델들을 병렬로 연결하고, 학습 가능한 작은 **선형 브릿지(linear bridge)**를 통해 은닉 상태를 주입하는 방식이다.
이 구조는 모델의 가중치를 전혀 수정하지 않으므로 **치명적 망각(catastrophic forgetting)**을 방지하며, 브릿지가 기존 표현 공간의 기하학적 관계만을 매핑하도록 제한하여 과적합을 방지한다.
MoE(Mixture-of-Experts) 방식 대비 주요 성능 지표는 다음과 같다:
- 의료(Medical): Perplexity를 56.80에서 11.02로 약 80.7% 감소시켰다.
- TruthfulQA Health: 정확도를 베이스라인 대비 9.1%p 향상시켰다.
- 코딩 테스트: 토크나이저가 다른 모델 간의 불일치 문제를 해결하여 Perplexity를 5.91로 낮췄다.
이 프레임워크는 거대 단일 모델을 만드는 수직적 확장 방식에서 벗어나, 다중 모델 시스템을 위한 **수평적 확장(horizontal scaling)**이라는 새로운 패러다임을 제시한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.