LLM Evals로 더 나은 실험하기: 퍼널이지 갈림길이 아니다

Spotify는 LLM evals를 A/B 테스트의 대체재가 아니라 앞단의 검증 퍼널로 본다. 기사에 따르면 Spotify의 A/B 테스트는 약 **12%**만 긍정적 출시로 이어지지만, 약 **64%**는 회귀를 잡거나 가설을 다듬는 유효한 학습을 남긴다. Schultzberg와 Ottens(2024)는 이런 구조를 evaluation funnel이라 부른다.

• Evals는 관련성, 일관성, 톤, 의도 정합성처럼 사람이 대규모로 보기 어려운 품질 축을 빠르게 검증한다.
• Experiments는 실제 사용자와 시스템이 예측대로 반응하는지 확인하고, 세션 길이 감소·크래시율 상승·retention 악화 같은 guardrail metrics도 함께 본다.
• 먼저 eval로 후보를 걸러 실험 히트율을 높이고, 이후 실험으로 실제 효과를 검증한다.

LLM eval은 동시에 가설 생성 도구다. 신뢰를 해치는 추천 패턴을 찾아낸 뒤 수정하면 같은 LLM judge로 개선 여부를 다시 확인할 수 있지만, 그 변화가 장기 참여나 이탈 방지로 이어지는지는 실험이 필요하다.

문제는 eval도 proxy metric이라는 점이다. judge가 A안을 선호해도 장기 사용자 경험과 어긋날 수 있고, 반대로 긴 작업이나 장기 행동 변화는 오프라인 점수에 잘 안 잡힐 수 있다.

그래서 필요한 것은 verify-validate-calibrate 루프다. 먼저 eval로 검증하고, A/B 테스트로 사용자 효과를 확인한 뒤, 테스트 데이터에 다시 eval을 돌려 오프라인-온라인 간극을 좁힌다. Spotify가 약 **42%**의 출시 실험을 되돌려 세션 길이, 크래시율, retention 같은 부차 지표 악화를 막는 이유도 같은 맥락이다.