노타, 1.58비트 터너리 양자화로 30B LLM을 10GB로 압축해 맥북 구동

• 노타가 NVIDIA Nemotron 3.5 Lightning 30B(A3B)를 1.58비트 터너리 양자화하여 가중치 용량을 약 60GB에서 약 10GB로 줄임
• 증류와 경계 마스킹을 적용해 생성형 벤치마크 7종 평균에서 원본 대비 89.4% 성능을 회복함
• 24GB 이상 맥북에서 실행 가능하며, Hugging Face에 MLX 포맷 프리뷰 모델로 공개함
• PTQ(사후 양자화) 방식 채택으로 사전학습 없이 기존 BF16 모델을 변환했으며, 복원 과정에서 원본 모델의 정체성이 유지됨

기술적 접근

• 가중치를 -1, 0, +1 세 값으로만 표현하는 터너리 양자화 적용
• on-policy 및 off-policy 증류를 병행하여 양자화 오차로 인한 출력 분포 변화를 교정함
• 경계 마스킹을 통해 임계값 근처의 가중치만 학습시켜 노이즈를 줄이고 성능을 안정화함

성능 및 활용

• GSM8K 89.31점, HumanEval 90.85점으로 원본 대비 94% 수준 회복
• MATH500과 IFEval-ko는 상대적으로 낮은 회복률을 보였으나 전체 평균은 83.82점 기록
• 16GB 맥북은 GPU 한도 조절 시 구동 가능하나, 시스템 여유를 위해 24GB 이상 권장