GGUF NaN 폭발

MiniMax-M2.7 GGUF의 perplexity NaN 문제를 조사한 결과, 문제가 해당 배포본만의 이슈가 아니라 **Hugging Face의 전체 GGUF 중 21%~38%**에서 나타났다.

• 다른 업로더의 GGUF도 38% (10/26), 또 다른 배포는 **22% (5/23)**에서 NaN이 확인됐다.
• 99.9% KLD와 다른 지표들은 정상이라, 문제가 모두의 품질 저하는 아니었다.
• 원인으로는 llama.cpp의 overflow가 지목됐다.

문제는 주로 block 32에서 발생했고, 일부는 block 311까지 이어졌다. 특히 blk.61.ffn_down_exps가 핵심 원인으로 보였으며, Q5_K와 Q4_K 계열은 PPL 평가 중 chunk 32에서 NaN을 냈다.

흥미롭게도 IQ4_XS, IQ3_XXS 같은 더 작은 I-quant 타입은 NaN이 없었고, 오히려 Q2_K_XL은 멀쩡한 반면 Q4_K_XL 같은 중간 크기 양자화가 NaN을 일으켰다.

정리하면:

• 10/26 NaN: bartowski 배포본
• 5/23 NaN: unsloth 배포본, 현재 수정 완료
• 일부 quants는 chunk 32에서, 하나는 chunk 311에서 실패

현재 unsloth/MiniMax-M2.7-GGUF는 문제 완화용으로 업데이트됐지만, 정확한 NaN의 근본 원인은 아직 확정되지 않았고 큰 곱셈으로 인한 overflow 가능성이 높다고 봤다.