낭비되는 비트를 찾아서: LLM 가중치는 얼마나 많은 정보를 담고 있나?

Shannon entropy로 LLM 가중치의 실제 정보량을 재보니 BF16에서는 16비트 중 평균 10.6비트만 정보로 채워졌다. 실제 slack은 거의 전부 exponent에 몰렸고, sign과 mantissa는 거의 가득 찼다.

여러 랩의 오픈웨이트 모델을 0.6B~1.4T 규모까지 비교해도 이 패턴은 거의 변하지 않았다. 가중치들은 통계적으로 거의 i.i.d.처럼 보였고, 절댓값 분포는 대체로 2^-7~2^-6 부근에 뾰족하게 몰렸다. 아주 작은 값(|w| < 2^-16)은 별도 small bin으로 분리해, 일부 MoE 모델의 죽은 expert가 평균과 표준편차를 왜곡하지 않게 했다. 정규화하면 서로 다른 모델의 분포가 거의 같은 곡선으로 겹쳤다.

• BF16: exponent는 8비트 중 약 2.6비트만 사용됐고, 그 폭은 모델이 달라져도 약 0.05비트 수준으로 매우 좁았다.
• FP8: 8비트 중 약 6.5비트를 써서 효율은 높아졌지만, slack은 여전히 주로 exponent 쪽에 남았다.
• FP4: per-element exponent 2비트만으로는 분포를 감당하기 어려워져, MXFP8, MXFP4, NVFP4, INT4처럼 블록 단위 scale이 필요해졌다.

sub-byte 포맷에서는 slack이 element 비트에서 scale로 이동한다. MXFP8/MXFP4는 32-element 블록과 E8M0 scale을, NVFP4는 16-element 블록과 E4M3 scale에 FP32 per-tensor scale을 더한 구조를 쓴다. Qwen block-FP8는 128-element 블록에 BF16 scale을 쓰고, INT4는 그룹 단위 scale로 잔여 정보를 흡수한다.

그 결과 MXFP4는 per-block scale이 0.03~0.10비트/요소만 쓰는 수준으로 약간의 여유를 남기고, INT4와 NVFP4는 element 비트를 거의 끝까지 채운 뒤 남는 정보 약 0.26비트/요소를 scale에 담는다. 전체 엔트로피 사용률은 BF16 약 66%, FP8 약 80%, **FP4 계열 약 93%**로 올라간다.

결론은 분명하다. LLM 가중치에는 아직 **7~30%**의 여분 비트가 남아 있고, 추론이 메모리 대역폭에 묶이는 한 이 slack을 더 줄이려면 고정 길이 포맷을 넘어 메모리를 계산으로 바꾸는 압축·복원형 접근이 필요하다.