카카오, Kanana LLM Post-training 과정 공개… 한국어 성능 압도적

카카오의 Kanana LLM은 사용자의 의도에 따라 응답할 수 있도록 Chat Template을 적용하고, General-chat, Code, Math 등 다양한 도메인의 데이터를 활용한 Supervised Fine-tuning(SFT)을 수행했습니다. 이후 Offline(DPO) 및 Online 방식의 Preference-based Learning을 모두 적용하여 모델의 선호도 정렬을 강화했으며, 각 단계별 모델 병합(Model Merging) 기법을 통해 최적의 성능을 달성했습니다. 특히 LogicKor, MT-Bench 등 벤치마크 평가에서 Kanana Essence 모델은 유사 규모의 오픈소스 모델들과 비교해 영어 및 일반 대화 능력에서 비견할 만한 성능을 보였으며, 한국어 평가에서는 타 모델 대비 월등히 높은 점수를 기록했습니다. Kanana Nano 모델 역시 한국어 성능에서 Essence 모델보다 더 큰 격차로 우위를 점하며, 고품질 한국어 데이터 기반의 자체 모델 개발 필요성을 시사했습니다.