AI BriefingAWS, Booking.com과 협력해 Medusa와 증류로 LLM 비용 2/3 절감 및 추론 속도 20배 향상
·2026.10.30 01:51
핵심 내용
AWS와 Booking.com이 Medusa와 증류로 LLM 비용을 3분의 1로 줄이고 속도를 20배 높였다
자세히 보기
- 지식 증류(KD)와 Medusa 프레임워크를 결합해 소형 LLM이 대형 교사 모델과 동등한 품질을 유지하면서 추론 속도를 10~20배 높이고 비용을 3분의 1 미만으로 절감함
- TinyLlama(11억 파라미터)를 학생 모델, Llama-3.1(700억 파라미터)를 교사 모델로 사용했으며 Booking.com의 AI Trip Planner, Smart Filters, Accommodation Description Generation 기능에 해당 기술을 적용함
- 지식 증류는 학생 모델과 교사 모델 간 성능 격차를 90% 이상 줄였고, Medusa 헤드를 추가해 추론 속도를 추가로 2~3.6배 향상시킴
- 프로덕션 환경에서 최적화된 모델은 AI Trip Planner의 사용자 참여도 2.9% 증가, Smart Filters 쿼리의 99%에 대해 응답 속도 15배 향상, 숙박 설명의 유용성 평가 1.4% 증가를 기록했으며 GPT-4 대비 3분의 1 미만의 비용으로 달성함
- 해당 연구는 Association for Computational Linguistics(ACL)에서 발표되어 Industry Track 최우수 논문상을 수상함
- Medusa는 추가된 예측 헤드를 이용해 여러 토큰을 병렬로 예측함으로써 추론을 가속화하고, KD는 라벨링 데이터와 기계 생성 데이터를 활용해 대형 교사 모델의 지식을 소형 학생 모델로 이전함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
