가중치 수정 없는 LLM 수평적 확장 기술

**Residual Coupling (RC)**는 가중치를 고정(frozen)한 언어 모델들을 병렬로 연결하고, 학습 가능한 작은 **선형 브릿지(linear bridge)**를 통해 은닉 상태를 주입하는 방식이다.

이 구조는 모델의 가중치를 전혀 수정하지 않으므로 **치명적 망각(catastrophic forgetting)**을 방지하며, 브릿지가 기존 표현 공간의 기하학적 관계만을 매핑하도록 제한하여 과적합을 방지한다.

MoE(Mixture-of-Experts) 방식 대비 주요 성능 지표는 다음과 같다:

• 의료(Medical): Perplexity를 56.80에서 11.02로 약 80.7% 감소시켰다.
• TruthfulQA Health: 정확도를 베이스라인 대비 9.1%p 향상시켰다.
• 코딩 테스트: 토크나이저가 다른 모델 간의 불일치 문제를 해결하여 Perplexity를 5.91로 낮췄다.

이 프레임워크는 거대 단일 모델을 만드는 수직적 확장 방식에서 벗어나, 다중 모델 시스템을 위한 **수평적 확장(horizontal scaling)**이라는 새로운 패러다임을 제시한다.