몇 주에서 하루로: LLM 평가 속도를 높여 반복적인 개선을 가능하게 만든 방법

LLM 시스템을 프로덕션에 배포할 때 가장 어려운 점은 모델의 성능 개선 여부를 신뢰할 수 있는 실험과 평가를 설계하는 것이다. 모델은 비결정론적(non-deterministic)이며, 모델 드리프트, 평가자 간의 불일치, 참조 텍스트의 재생성 등 다양한 변수가 존재한다.

기존에는 모델 재학습에만 수 주가 소요되어 버그 수정이나 성능 개선을 위한 반복(iteration) 과정이 매우 느렸다. 이러한 병목 현상은 모델 자체의 품질 문제라기보다 인프라 측면의 도전 과제에서 기인한다.

Airbnb 엔지니어링 팀은 이를 해결하기 위해 고전적인 소프트웨어 엔지니어링 기법을 도입했다. 이를 통해 실험 및 평가 인프라를 최적화하여, 모델 개선을 위한 피드백 루프를 몇 주에서 단 하루로 줄이는 데 성공했다.