RaBiT: 정확하고 효율적인 LLM을 위한 잔차 인식 이진화 학습법

LLM의 추론 효율성을 높이기 위해 가중치를 1비트로 압축하는 이진화(Binarization) 기술이 주목받고 있으나, 기존 방식은 모델의 정확도가 급격히 떨어지는 한계가 있었다.

**RaBiT(Residual-Aware Binarization Training)**는 이 문제를 해결하기 위해 학습 과정에서 발생하는 **잔차(Residual)**를 정밀하게 관리하는 새로운 프레임워크를 도입했다. 이를 통해 가중치를 극단적으로 압축하면서도 모델의 성능 손실을 최소화한다.

주요 특징 및 성과는 다음과 같다:

• 잔차 인식 학습: 이진화 과정에서 발생하는 정보 손실을 보정하기 위해 잔차 정보를 학습에 적극 활용한다.
• 효율성 극대화: 모델의 파라미터 크기를 획기적으로 줄여 메모리 사용량을 감소시키고 추론 속도를 높인다.
• 높은 정확도 유지: 기존 이진화 기법 대비 LLM의 언어 모델링 성능을 훨씬 더 안정적으로 유지한다.