Mix-Quant: 프리필은 양자화, 디코딩은 고정밀 유지

LLM 추론의 두 핵심 단계인 **프리필(Prefilling)**과 **디코딩(Decoding)**이 서로 다른 계산 병목과 양자화 특성을 가진다는 점에 주목한 연구가 발표되었습니다.

프리필 단계는 입력 시퀀스를 병렬로 처리하므로 **W4A4(4-bit weight/activation)**와 같은 공격적인 양자화를 적용하기에 적합합니다. 양자화 오류가 다음 입력에 재귀적으로 영향을 미치지 않으며, 긴 문맥 내의 중복성을 활용해 이론적으로 약 4배의 속도 향상을 기대할 수 있습니다.

반면, 디코딩 단계는 각 토큰이 다음 생성에 영향을 주는 자기회귀(Autoregressive) 특성 때문에 오류에 매우 민감합니다. 디코딩에 저정밀 양자화를 적용하면 오류가 누적되어 생성 품질이 저하될 위험이 큽니다.

이를 해결하기 위해 제안된 Mix-Quant는 컨텍스트 인코딩(프리필) 시에는 저정밀 양자화를 사용하여 연산 속도를 높이고, 토큰 생성(디코딩) 시에는 고정밀 경로를 유지하여 정확도를 보존하는 하이브리드 방식을 제안합니다.