Eval-driven development: 대규모 GenAI 평가를 통한 교훈

기존 소프트웨어 테스트와 달리 GenAI의 출력은 비결정론적이며 '정답'의 기준이 주관적이다. 따라서 단순한 단위 테스트를 넘어, AI가 AI를 평가하는 복잡한 구조를 관리해야 한다.

Airbnb는 GenAI 제품을 구축할 때 평가를 단순한 사후 작업이 아닌, 개발의 핵심 단계로 격상시키는 Eval-driven development를 실천한다. 이는 LLM의 추론, 도구 호출(Tool calls), RAG(Retrieval-Augmented Generation) 등이 얽힌 복잡한 상호작용을 체계적으로 검증하기 위함이다.

성공적인 GenAI 평가를 위해 다음과 같은 접근 방식을 강조한다:

• 평가 자동화: 사람이 일일이 검토할 수 없는 규모를 감당하기 위해 AI를 활용한 자동 평가 체계 구축
• 다층적 평가 구조: 단순 응답 품질부터 복잡한 워크플로우의 논리적 타당성까지 단계별로 검증
• 반복적 피드백 루프: 평가 결과를 즉각적으로 모델 튜닝 및 프롬프트 엔지니어링에 반영하는 프로세스 정립