몇 주에서 하루로: LLM 평가 속도를 높여 반복적인 개선을 가능하게 만든 방법

LLM 시스템을 프로덕션에 배포할 때 가장 큰 어려움은 모델의 비결정론적 특성 때문에 신뢰할 수 있는 실험과 평가를 설계하는 것입니다. 모델 드리프트, 판정 모델(Judge) 간의 불일치, 참조 텍스트의 재생성 등의 문제로 인해 모델 재학습에는 수주가 소요되기도 합니다.

Airbnb는 이러한 병목 현상이 모델 자체의 품질보다는 인프라 문제에서 기인한다는 점에 주목했습니다. 이를 해결하기 위해 고전적인 소프트웨어 엔지니어링 기법을 도입하여 신뢰할 수 있는 LLM 인프라를 구축했습니다.

핵심적인 접근 방식은 다음과 같습니다:

• 평가 프로세스의 자동화 및 최적화
• 인프라 차원의 병목 현상 제거
• 반복적인 실험(Iteration)이 가능한 환경 조성