Fujitsu One Compression (3분 읽기)

**Fujitsu One Compression(OneComp)**은 대규모 언어 모델(LLM)의 사후 학습 양자화(Post-Training Quantization, PTQ)를 위한 오픈소스 Python 라이브러리다. GPTQ, DBF, RTN 등 최신 알고리즘을 지원하며, 특히 NeurIPS 2025에서 발표된 새로운 방식인 **Quantization Error Propagation(QEP)**을 구현했다.

주요 기능은 다음과 같다:

• QEP (Quantization Error Propagation): 양자화 오류를 후속 레이어로 전파하여 모델의 정확도를 보정한다.
• vLLM 플러그인 통합: DBF 및 Mixed-GPTQ 양자화 모델을 vLLM에서 즉시 서빙할 수 있도록 지원한다.
• AutoBit: 가용 VRAM을 기반으로 레이어별 비트 폭을 자동으로 할당하는 혼합 정밀도 양자화를 제공한다.
• JointQ: 가중치 할당과 스케일 파라미터를 동시에 최적화하여 양자화 정확도를 높인다.
• LoRA SFT 후처리: LoRA 어댑터를 통해 양자화된 모델의 정확도를 복구하거나 특정 도메인 지식을 주입할 수 있다.
• Rotation 전처리: SpinQuant/OstQuant 기반의 회전 행렬을 학습하여 양자화 오류를 최소화한다.

현재 Llama(TinyLlama, Llama-2, Llama-3) 및 Qwen3(0.6B~32B) 아키텍처에서 검증을 마쳤다. 사용자는 단 한 줄의 코드로 모델 양자화부터 평가(Perplexity 및 Accuracy), 모델 저장까지 모든 과정을 자동화할 수 있다.