Neutrino-1 8B
·2026.07.28 13:49
Qwen3-8B를 기반으로 한 고밀도 디코더 전용 트랜스포머 모델 Neutrino-1 8B의 기술 사양을 공개했다.
Alibaba Cloud의 Qwen3-8B를 베이스 모델로 사용하는 밀집 디코더 전용(dense decoder-only) 트랜스포머 모델인 Neutrino-1 8B의 아키텍처 상세 사양을 제공한다.
주요 기술적 특징은 다음과 같다:
- 모델 구조: 36개의 디코더 레이어, 4,096의 Hidden width, SwiGLU 게이팅을 적용한 Feed-forward width(12,288)를 갖춘 구조다.
- 어텐션 메커니나: 4:1 비율의 Grouped-query attention을 사용하여 KV 캐시 효율을 높였으며, 4k 토큰 세션 기준 0.60 GB의 캐시를 소모한다.
- 데이터 압축 및 저장: 전체 파일의 약 67.2%를 차지하는 252개의 트랜스포머 선형 레이어는 ternary-family lane 코딩 형식을 사용하며, 임베딩 텐서는 int8로 유지된다.
- 가중치 특성: 6.95B 개의 코딩된 가중치 중 약 62.63%가 0이며, 레이어 깊이에 따라 가중치 밀도가 달라지는 특성을 보인다.
- 컨텍스트 길이: 최대 40,960 토큰의 컨텍스트 길이를 지원한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.
