9명의 판사, 실제로는 2명분: 상관관계가 있는 오류가 LLM 평가 패널을 저해한다

LLM-as-a-judge 방식은 여러 모델의 투표를 모아 평가의 신뢰도를 높이는 것을 목표로 한다. 하지만 연구 결과, 7개 모델 제품군에서 추출한 9개의 프런티어 LLM을 활용한 패널은 실제로는 단 2개 모델 정도의 독립적인 정보 가치(Kish effective sample size)만을 제공하는 것으로 나타났다.

모델들이 동일한 항목에서 같은 실수를 반복하는 **상관관계가 있는 오류(Correlated Errors)**가 주요 원인이다. 이로 인해 패널의 명목상 독립성은 약 4분의 3이 손실되며, 패널의 실제 정확도는 독립적인 투표를 가정했을 때보다 8~22%p 낮게 측정된다.

연구의 주요 발견은 다음과 같다:

• 단일 모델의 우위: 모든 조건에서 가장 성능이 좋은 단일 모델이 전체 패널보다 성능이 좋거나 대등했다.
• 확장성 한계: 판사(Judge) 모델의 수를 늘리거나 더 정교한 집계 알고리즘을 사용해도 이 격차를 줄이는 데 한계가 있었다.
• 강건성 확인: 이러한 현상은 프롬프트 변형, Temperature 설정, Chain-of-Thought(CoT) 추론, 그리고 RewardBench와 같은 쌍체 선호도(Pairwise preference) 작업에서도 일관되게 관찰되었다.

결론적으로 LLM 평가의 병목 현상은 집계 알고리즘이 아닌 판사 모델 간의 상관관계에 있으며, 단순히 모델 수를 늘리는 것만으로는 진정한 의미의 독립적인 평가를 대체할 수 없다.