AntLing, Ling-3.0 기반 모델 공개

AntLing이 Ling-3.0-tiny와 Ling-3.0-flash의 사전학습, 중간 학습, WSM 병합 단계에 이르는 총 6개의 기반 모델 체크포인트를 오픈소스로 공개했다. 해당 모델들은 후학습(post-training)을 거치지 않아 연구자들이 추가 사전학습이나 파인튜닝을 위한 유연한 출발점을 제공한다.

주요 특징으로는 학습 과정의 지속성을 높이기 위해 **WSM(Weighted Checkpoint Merging)**을 활용해 학습률(LR) 감쇠를 대체하는 방식을 채택했다. 이를 통해 오프라인에서 다양한 LR 감쇠 전략을 탐색할 수 있으며, 동일한 학습 레시피로 tiny-base에서 전략을 검증한 후 flash-base로 확장할 수 있다.

• Ling-3.0-tiny-base: 총 파라미터 7.9B(활성 1.3B). 이전 세대 모델 대비 절반 수준의 파라미터로 코딩 벤치마크에서 동등하거나 우수한 성능을 보인다.
• Ling-3.0-flash-base: 총 파라미터 124B(활성 5.1B). 코딩, 추론, 롱컨텍스트 작업에서 2~3배 큰 모델과 견줄 만한 성능을 발휘하여 금융, 의료 등 전문 분야 적응에 적합하다.