Tencent, 295B MoE 모델 Hy3 공개

Tencent Hy Team이 개발한 Hy3는 총 295B 파라미터를 가진 Mixture-of-Experts (MoE) 모델로, 추론 시에는 21B의 활성 파라미터와 3.8B의 MTP 레이어 파라미터를 사용한다.

주요 특징은 다음과 같다:

• 성능: 유사한 크기의 모델을 능가하며, 파라미터 수가 2~5배 더 큰 플래그십 오픈 소스 모델들과 경쟁할 만한 성능을 보여줌.
• 컨텍스트 길이: 256K를 지원함.
• 라이선스: Apache 2.0 라이선스로 공개되어 자유로운 사용이 가능함.
• 모델 크기: 전체 모델은 598GB이며, FP8 양자화 버전은 300GB임.

현재 OpenRouter를 통해 7월 21일까지 무료로 테스트해 볼 수 있다.