코딩 생성(Codegen) 속도 최적화를 위한 모델 최적화 전략

코딩 에이전트의 작업은 기존 파일의 상당 부분을 재사용하며, 매 턴마다 동일한 레포지토리를 다시 읽는 특성이 있습니다. 일반적인 추론 스택은 이러한 중복성을 무시하고 모든 토큰을 처음부터 다시 디코딩하여 자원을 낭비합니다.

이를 해결하기 위해 세 가지 핵심 최적화 전략을 제안합니다.

1. 타겟 모델 맞춤형 Speculator 학습 Speculative Decoding은 작은 Draft Model이 토큰을 예측하면 타겟 모델이 이를 검증하는 방식입니다. 일반적인 데이터로 학습된 Draft Model은 1.93x의 속도 향상을 보이지만, 타겟 모델의 코딩 출력물로 직접 학습시킨 경우 3.07x까지 속도가 향상됩니다.

특히 30B 미만 모델에서는 Chinchilla 최적점보다 훨씬 더 많은 데이터를 학습시키는 Overtraining이 효율적입니다. 이를 통해 특정 도메인(코딩)에 특화된 작고 강력한 Speculator를 구축할 수 있습니다.

2. 커널 자동 최적화(Autoresearch) 모든 환경을 위해 수동으로 튜닝하는 대신, 저가형 GPU에서도 높은 성능을 낼 수 있도록 커널을 자동으로 검색합니다. 이를 통해 $7K 규모의 카드에서도 97~162 tok/s의 성능을 구현합니다.

3. 인터커넥트 최적화 PCIe 상의 All-reduce 구현과 NVLink가 없는 환경에서도 TCP를 통해 Prefix Cache를 공유할 수 있는 인터커넥트 기술을 통해 병목 현상을 제거합니다.