정확도를 희생하지 않고 LLM을 더 빠르게

LLM 추론 비용이 커지는 가운데 Amazon 연구진은 ICLR에서 정확도를 유지하면서도 더 빠른 모델을 찾는 아키텍처 프레임워크를 제안했다. 핵심은 Chinchilla scaling law를 파라미터 수와 학습 토큰뿐 아니라 설계 변수까지 확장하는 것이다.

기존 scaling law는 동일한 파라미터 수와 데이터라도 아키텍처에 따라 추론 throughput이 최대 **40%**까지 달라질 수 있다는 점을 설명하지 못했다. 연구진은 hidden size(d_model), MLP-to-attention ratio(r_mlp/attn), GQA를 함께 최적화 변수로 넣고, 이들이 loss와 throughput에 미치는 영향을 따로 보정하는 방식을 썼다.

• hidden size가 커지면 고정 파라미터 예산 안에서 FLOPs와 KV cache가 줄어 throughput이 개선된다.
• MLP-to-attention ratio를 조정하면 attention 쪽 파라미터와 KV cache가 줄어 메모리 병목이 완화된다.
• GQA는 key-value head를 압축해 생성 비용을 더 낮춘다.

다만 세 변수는 무조건 큰 쪽이 정답은 아니다. hidden size와 MLP-to-attention ratio는 모두 U자형 loss 곡선을 보여 최적점이 있고, GQA는 변동성이 커 discrete hyperparameter로 local search를 거쳐 선택했다.

프레임워크는 먼저 표준 Chinchilla law를 맞춰 계수 E, A, B, α, β를 추정한 뒤, 각 아키텍처 선택이 loss에 주는 보정면을 학습하는 2단계 방식으로 동작한다. 이 과정에서 Panda는 정확도 극대화를, Surefire는 정확도-효율 Pareto 최적점을 겨냥한 모델 계열로 정리됐다.

200개가 넘는 모델을 80M~3B 파라미터, 8B~100B 토큰 범위로 학습한 결과, Panda-1B는 LLaMA-3.2-1B보다 정확도가 2.1%p 높았지만 throughput은 33% 낮았다. 반면 Surefire-1B는 정확도를 거의 유지하면서 vLLM 기준 21%, SGLang 기준 47% 빨라졌다.

Panda-3B는 LLaMA-3.2-3B보다 정확도가 0.6%p 높았지만 throughput은 23% 낮았고, Surefire-3B는 정확도를 유지한 채 throughput을 12~17% 높였다. 저자들은 LLaMA-3.2 스타일 모델의 최적 MLP-to-attention ratio가 약 1.0으로, 기존 공개 모델의 4.8보다 훨씬 낮다고 결론냈다.

• 작은 규모 실험으로도 대규모 모델의 최적 아키텍처를 예측할 수 있었다.
• 효율 향상은 A100과 H200 GPU, vLLM과 SGLang 전반에서 일관됐다.
• 조건에 따라 throughput은 **A100(vLLM)**에서 최대 42%, **H200(SGLang)**에서 최대 47% 개선됐다.