1.58비트 BitNet 기반 Falcon-Edge 공개

Falcon-Edge는 BitNet 아키텍처를 활용하여 **ternary weights(-1, 0, 1)**를 사용하는 1.58비트 언어 모델 시리즈다.

기존의 사후 양자화(Post-training quantization) 방식과 달리, 학습 단계부터 저정밀도를 적용하여 matmul-free 설계를 구현함으로써 메모리 효율성과 추론 속도를 극대화했다. 특히 단일 학습 프로세스를 통해 다음 세 가지 모델 변체를 동시에 생성하는 새로운 패러다임을 제시한다.

• bfloat16 (비양자화 모델)
• Native BitNet 모델
• 사전 양자화된 BitNet (미세 조정에 최적화)

모델은 1B 및 3B 파라미터 규모로 제공되며, 각각 Base 및 Instruction-tuned 버전을 포함한다. 벤치마크 결과, 유사 규모의 모델들과 비교해 대등하거나 우수한 성능을 기록하며 BitNet 모델의 실용성을 입증했다.