K-Merge: 온디바이스 LLM을 위한 어댑터의 온라인 지속적 병합 기술

스마트폰과 같은 온디바이스 환경에서 LLM을 구동할 때는 메모리와 연산 자원이 매우 제한적입니다. 이를 해결하기 위해 **LoRA(Low-Rank Adaptation)**와 같은 PEFT 기술이 사용되지만, 새로운 작업(Task)이 계속 추가될 경우 저장 공간 부족과 기존 지식을 잃어버리는 치명적 망각(Catastrophic Forgetting) 문제가 발생합니다.

삼성 R&D 연구소에서 제안한 K-Merge는 데이터 없이 온디바이스에서 직접 수행되는 경량 알고리즘입니다. 이 프레임워크는 두 단계의 파이프라인을 통해 작동합니다.

• 거리 기반 어댑터 선택(Distance-Based Adapter Selection): 새로운 어댑터가 도착하면 기존 저장된 어댑터들과의 가중치 파라미터 거리를 계산하여 가장 유사한 '최근접 이웃'을 찾습니다. 유사한 어댑터를 병합함으로써 간섭을 최소화합니다.
• 이력 인지형 동적 병합(History-Aware Dynamic Merging): 단순 평균 방식 대신 **병합 이력 카운터(Merge History Counter)**를 사용하여 가중치를 조절합니다. 이를 통해 오래된 핵심 기능이 새로운 업데이트에 의해 덮어씌워지는 것을 방지합니다.

또한, 저장 공간이 가득 차기 전이라도 유사도가 높은 어댑터가 들어오면 즉시 병합을 수행하는 K-Merge++ 방식을 통해 더욱 선제적이고 효율적인 모델 관리를 지원합니다.