텐센트, 770B 파라미터 오픈 웨이트 LLM 'Hy4 Preview' 공개

중국 텐센트가 새로운 오픈 웨이트 텍스트 입력 전용 LLM Hy4 Preview를 공개했다. 이 모델은 총 770B 파라미터 중 49B가 활성화되는 MoE 구조를 채택했으며, 1M 토큰의 컨텍스트 윈도우를 지원한다. Hugging Face 기준 모델 파일 크기는 1.56TB다.

Hy3 대비 성능 및 사양 향상

Hy4 Preview는 지난 7월 공개된 전작 Hy3 대비 사양이 대폭 상향되었다. Hy3는 총 295B 파라미터, 21B 활성 파라미터, 256K 컨텍스트 윈도우를 제공했으나, Hy4는 파라미터 수와 컨텍스트 길이가 각각 약 2.6배와 4배 증가했다.

추론 모드 및 테스트 결과

모델의 chat_template.jinja 분석 결과, 추론 강도(reasoning effort)는 'high'(기본값)와 'no_think'(추론 비활성화) 두 가지 옵션만 제공한다. Simon Willison이 OpenRouter를 통해 '자전거 타는 펠리컨' 생성 테스트를 진행한 결과, 기본 'high' 모드에서 추론 과정이 영어로 간결하게 기록되는 양상을 보였다. 이는 숨겨진 추론 텍스트에서 완벽한 문법보다 토큰 효율성을 우선시하는 것으로 해석된다.