IFM, 학습 전 과정 공개하는 6종 AI 모델 'K2 Horizon' 출시

IFM이 K2 Horizon이라는 이름으로 6개의 연결된 AI 모델 제품군을 공개했다. 이 제품군은 375B-A23B, 36B-A4B, 32B, 7B, 3.7B, 0.9B 등 총 6가지 크기로 구성되며, 각 규모에서 최고 수준의 성능을 달성했다. 특히 0.9B, 3.7B, 7B 모델은 해당 스케일에서 새로운 SOTA(State of the Art)를 기록했다.

학습 전 과정의 투명성

K2 Horizon은 지금까지의 오픈 모델 릴리스 중 가장 포괄적인 접근을 취한다. 사전 학습부터 추론 및 에이전트 후처리까지 학습 라이프사이클 전체를 공개한다. 최종 가중치뿐 아니라 중간 체크포인트, 학습 데이터(또는 데이터 구성 레시피), 아키텍처, 혼합 구성, 설정 파일 등을 모두 공개하여 연구자와 개발자가 모델의 생성 과정을 연구하고 재현할 수 있도록 했다. 모든 모델과 코드는 Apache 2.0 라이선스로 배포된다.

규모별 성능 및 특징

각 모델은 배포 환경에 맞춰 최적화되었다.

• 0.9B: 시계나 안경 같은 제한된 환경용. 수학, 추론, 에이전트 작업에서 뛰어난 성능을 보인다.
• 3.7B 및 7B: 소프트웨어 엔지니어링 및 다단계 환경에 적합하며, TerminalBench 등에서 강력한 능력을 입증했다.
• 32B 및 36B-A4B: 로컬 워크스테이션 및 효율적인 서빙을 위한 모델. 특히 36B-A4B는 새로운 Mixture-of-Value-Attention 메커니즘을 적용해 활성 파라미터당 exceptional한 성능을 제공한다.
• 375B-A23B: 기업용 배포를 위한 최강 성능 모델.

이 6개 모델은 공통 아키텍처, 어휘, 학습 방법론, 인터페이스, 평가 인프라, 배포 도구를 공유하여 규모 간 이동과 동적 라우팅이 용이하다. 모든 모델은 양자화(quantization)를 지원한다.