Ascend NPU용 1.58비트 LLM 학습 시스템

BitCPM-CANN은 Huawei Ascend NPU 플랫폼에서 **1.58비트(ternary) 양자화 인지 학습(QAT)**을 수행하기 위한 체계적인 연구 결과다. 기존 GPU 기반 파이프라인을 CANN, MindSpeed, Megatron-LM으로 이식하여 0.5B, 1B, 3B, 8B 규모의 4가지 모델을 학습시켰다.

주요 성과는 다음과 같다:

• 성능 유지: 1B, 3B, 8B 모델은 전체 정밀도(Full-precision) 성능의 **95.7%~97.2%**를 유지하며, 3B 모델은 BBH 벤치마크에서 대등한 성능을 보였다.
• 효율성 극대화: 추론 시 가중치 메모리를 최대 8배 절감할 수 있으며(엔드투엔드 약 6배), 학습 처리량 오버헤드는 4.5%에 불과해 실용성을 높였다.
• 생태계 기여: Ascend 생태계를 위해 8B 규모까지 확장 가능한 최초의 엔드투엔드 1.58비트 학습 시스템 및 인프라를 제공한다.