HY3 프리뷰 공개

Tencent Hunyuan이 Hy3 preview와 Hy3 preview-Base 가중치를 2026-04-23에 Hugging Face, ModelScope, GitCode에 공개했다.

모델은 295B MoE 구조에 21B 활성 파라미터와 3.8B MTP 레이어 파라미터를 사용한다. 80층, 64 heads(GQA, 8 KV heads), hidden size 4096, intermediate size 13312, vocab 120,832, 컨텍스트 길이 256K, 192 experts(top-8 활성화), BF16 지원을 제시했다.

• STEM / reasoning: FrontierScience-Olympiad, IMOAnswerBench, Tsinghua Qiuzhen College Math PhD qualifying exam(Spring '26), CHSBO 2025에서 강한 추론 성능을 보였다고 밝혔다.
• Context learning / instruction following: 사내 시나리오 기반 CL-bench와 CL-bench-Life에서 개선을 보고했다.
• Code / agent: SWE-bench Verified, Terminal-Bench 2.0, BrowseComp, WideSearch, ClawEval, WildClawBench와 내부 평가인 Hy-Backend, Hy-Vibe Bench, Hy-SWE Max에서 경쟁력 있는 결과를 공개했다.

Pre-trained 비교에서는 Kimi-K2 BASE, DeepSeek-V3 BASE, GLM-4.5 BASE와 비교했으며, 대표 수치로 MMLU 87.42, MMLU-Pro 65.76, ARC-Challenge 95.99, LiveCodeBench-v6 34.86, GSM8K 95.37, MATH 76.28, MMMLU 80.15를 제시했다.

배포 문서는 vLLM과 SGLang 예시, OpenAI-compatible API 호출법, 8 GPU 서빙과 H20-3e급 이상 메모리 권장을 담고 있다. 훈련 파이프라인은 full fine-tuning과 LoRA를 모두 지원하고, DeepSpeed ZeRO 및 LLaMA-Factory 통합 가이드를 포함한다.