Fermion Research, Neutrino-1 모델군 공개

Fermion Research가 3진 계열(Ternary-style) 포맷을 학습 단계에서부터 직접 적용한 Neutrino-1 모델군 3종을 공개했습니다. 이 모델들은 기존의 사후 양자화 방식이 아닌, Native-format training을 통해 저해상도 포맷 내에서 모든 순전파가 이루어지도록 설계되었습니다.

주요 모델 구성:

• Neutrino-1 8B: 8B급 플래그십 모델 (MMLU 72.1 기록)
• Neutrino-1 0.6B: 초안 모델(Draft model) 및 소형 모델
• Neutrino-1 0.6B-Chat: 대화 특화 모델

핵심 기술 및 특징:

• 저장 공간 및 대역폭 절감: 8B 모델 기준 디스크 용량 3.88GB, 다운로드 2.56GB로 매우 효율적이며, 이는 단일 스트림 디코딩 시 발생하는 대역폭 문제를 해결합니다.
• 통합 컨테이너 구조: 세 모델은 동일한 토크나이저, 컨테이너 레이아웃, 추론 엔진을 공유하여 0.6B 모델을 8B 모델의 **초안 모델(Draft model)**로 즉시 활용할 수 있습니다.
• GQA(Grouped-Query Attention) 적용: 효율적인 어텐션 메커니즘을 채택했습니다.
• 오픈 소스: 모든 모델은 Apache License 2.0을 따르며 Hugging Face에서 바로 이용 가능합니다.