평가 주도 개발(EDD)을 통한 LLM 신뢰성 확보 과정

생성형 AI 기반 제품을 프로덕션 환경에서 운영할 때 가장 큰 과제는 신뢰성(Reliability) 확보입니다. 확률적 함수에 기반한 LLM 특성상, 프롬프트를 조금만 수정해도 특정 영역의 성능이 향상되는 동시에 다른 영역에서 성능이 떨어지는 회귀(Regression) 현상이 빈번하게 발생하기 때문입니다.

AI 소프트웨어 개발팀인 Dosu는 이러한 문제를 해결하기 위해 평가 주도 개발(Evaluation Driven Development, EDD) 방식을 채택했습니다. 이는 테스트 주도 개발(TDD)과 유사한 개념으로, '평가(Evals)'를 기준으로 삼아 업데이트가 기존 성능을 유지하면서도 목표한 개선을 이루었는지 측정하는 방식입니다.

Dosu가 실천하는 EDD 워크플로우는 다음과 같습니다:

• 새로운 동작을 정의하고 초기 Evals 생성
• 사용자에게 새로운 기능 출시
• 프로덕션 환경 모니터링을 통해 실패 사례(Failure modes) 식별
• 식별된 실패 사례를 오프라인 Evals에 추가
• 성능 개선을 위해 평가 지표를 반복적으로 업데이트
• 개선된 지표를 바탕으로 재출시 및 반복

초기에는 로그를 직접 검토하는 수동 방식에 의존했으나, 서비스 규모가 커짐에 따라 LangSmith를 활용해 모니터링과 검색을 자동화함으로써 대규모 환경에서도 높은 품질을 유지하고 있습니다.