Align Evals 소개: LLM 애플리케이션 평가 프로세스 간소화

LLM 애플리케이션 개발 시 가장 큰 어려움 중 하나는 LLM이 생성한 평가 점수가 실제 사람이 느끼는 품질과 일치하지 않는다는 점입니다. 이러한 불일치는 잘못된 신호를 제공하여 개발 시간을 낭비하게 만듭니다.

이를 해결하기 위해 LangSmith는 평가 모델을 인간의 선호도에 맞춰 보정하는 Align Evals 기능을 도입했습니다. 이 기능은 평가 프롬프트를 반복적으로 개선할 수 있는 플레이그라운드 인터페이스와 인간의 채점 데이터와 LLM 점수를 비교하는 기능을 제공합니다.

Align Evals의 주요 기능:

• 플레이그라운드 인터페이스: 평가 프롬프트를 수정하며 실시간으로 '정렬 점수(Alignment Score)' 확인 가능
• 사이드 바이 사이드 비교: 인간의 채점 결과와 LLM 점수를 나란히 비교하고, 불일치하는 사례를 식별할 수 있는 정렬 기능 제공
• 베이스라인 비교: 이전 프롬프트 버전과 현재 버전의 정렬 점수를 비교하여 개선 여부 확인

사용자는 평가 기준을 설정하고, 대표적인 데이터 세트에 대해 직접 점수를 매겨 **'골든 세트(Golden Set)'**를 만든 뒤, 이를 기준으로 LLM 평가 모델을 최적화할 수 있습니다. 향후에는 평가 성능 추적을 위한 애널리틱스와 자동 프롬프트 최적화 기능이 추가될 예정입니다.