ByteDance, 글로벌 선두 겨냥한 10조 파라미터 AI 모델 훈련

ByteDance가 최대 10조 파라미터 규모의 초대형 AI 모델을 훈련 중인 것으로 알려졌다. 모델은 현재 초기 사전 학습 단계에 있으며, 이 과정에 3~6개월이 걸린 뒤 파인튜닝과 출시가 이어질 전망이다. 최종 파라미터 규모는 추후 확정된다.

이 모델의 규모는 중국에서 현재 가장 큰 출시 모델로 알려진 Moonshot AI의 Kimi K3보다 약 3배 크다. 중국 AI 기업들이 미국 주요 연구소와의 격차를 좁히는 가운데, ByteDance는 Anthropic의 고급 Mythos 시스템과 경쟁할 수 있는 모델 개발을 추진하고 있다.

업계 추정에 따르면 Anthropic의 Mythos 5는 약 8조 파라미터, Fable 5는 약 5조 파라미터 규모다. 다만 파라미터 수는 모델의 기본 역량이나 메모리 상한을 나타내는 지표일 뿐이며, 실제 성능은 데이터 품질과 학습 방법론 등 다른 요인에도 좌우된다.