Aurora

LLM 운영 시 성능과 비용 사이의 트레이드오프는 피할 수 없는 과제다. **추측 디코딩(Speculative Decoding)**은 추론 속도를 높이는 표준적인 방법이지만, 트래픽 패턴 변화에 따라 드래프트 모델의 성능이 저하되거나 오프라인 재학습 속도가 실시간 트래픽을 따라가지 못하는 한계가 있다.

Aurora는 실시간 추론 트레이스(Inference traces)로부터 직접 학습하는 오픈소스 RL(강화학습) 기반 프레임워크다. 서빙을 중단하지 않고 비동기적으로 스펙큘레이터(Speculator)를 업데이트하여, 추측 디코딩을 정적인 설정에서 동적인 자가 개선 시스템으로 전환한다.

Aurora는 다음과 같은 핵심적인 이점을 제공한다:

• 분포 불일치(Distribution mismatch) 문제를 직접 해결하여 기존 정적 베이스라인 대비 1.25배의 추가 속도 향상 달성
• 대규모 활성화 데이터 수집 파이프라인을 제거하여 인프라 비용 절감
• 알고리즘에 구애받지 않는 프레임워크 설계로 향후 다양한 스펙큘레이터와 호환 가능
• 다양한 요구사항을 가진 이질적인 사용자 환경 지원

실험 결과, Qwen3 및 Llama3와 같은 주요 모델에서 잘 훈련된 정적 스펙큘레이터보다 더 높은 성능을 보였다. 특히 온라인 학습을 처음부터 수행하는 것이 정교하게 사전 학습된 정적 베이스라인보다 뛰어난 성능을 낼 수 있음을 입증했다.