LangSmith를 활용한 Pairwise Evaluation

LLM 애플리케이션 개발에서 모델 출력의 품질을 평가하는 것은 매우 중요하지만, 채팅이나 글쓰기 같은 작업은 명확한 규칙으로 정의하기 어렵습니다. 이를 해결하기 위해 여러 후보 답변 중 어떤 것이 더 나은지 비교하는 Pairwise Evaluation 방식이 주목받고 있습니다.

Pairwise Evaluation은 RLHF(인간 피드백 기반 강화 학습)나 Chatbot Arena와 같은 벤치마크에서 사용하는 개념입니다. 기존에는 사람이 직접 두 답변을 비교해야 했으나, 이제는 LLM-as-a-judge 방식을 통해 이 과정을 자동화할 수 있습니다.

LangSmith에 새롭게 추가된 이 기능은 다음과 같은 특징을 가집니다:

• 커스텀 평가 기준 정의: 사용자가 원하는 기준을 바탕으로 맞춤형 Pairwise LLM-as-a-judge를 설정할 수 있습니다.
• 직접적인 비교: 개별 실행 결과에 점수를 매긴 뒤 비교하는 기존 방식과 달리, 두 결과를 동시에 놓고 직접 비교하여 하나의 점수를 산출합니다.

기존의 개별 점수 방식은 여러 모델이 모두 만점을 받는 등 변별력이 떨어지는 문제가 있었습니다. 하지만 Pairwise Evaluation을 사용하면 두 결과 사이의 상대적인 우위를 명확히 파악할 수 있어, 모델의 성능 차이를 정교하게 구분해낼 수 있습니다.