Apple 연구, MT 주석서 LLM과 인간 모두 신뢰성 부족 확인

Apple 연구진이 기계 번역(MT) 품질 평가에서 인간 판정을 대체할 수 있는 LLM의 신뢰성을 검증했습니다. 연구는 **Multidimensional Quality Metrics(MQM)**과 Error Span Annotation(ESA) 두 가지 방식을 사용해 LLM과 인간 평가자 간 일치도를 비교했습니다.

70개 언어 쌍으로 구성된 장문 테스트 세트와 공개된 WMT23, WMT25 데이터를 분석한 결과, LLM이 인간 간 일치도를 상회하는 경우도 있었으나 평가 방식, 언어 쌍, 도메인에 따라 편차가 컸습니다. 따라서 대부분의 환경에서 LLM과 인간 모두 신뢰도가 낮은 것으로 나타났습니다.

각 그룹의 주요 과제는 다음과 같습니다:

• 인간: 세분화된 MQM 주석과 저자원 언어 쌍에서 어려움을 겪음
• LLM: 경미한 오류, 잘못된 언어 변형, 오류 구간 주석에서 취약함

저자들은 인간과 LLM이 협업하는 주석 파이프라인이 이러한 신뢰성 문제를 해결하고 전반적인 성능을 향상시킬 수 있다고 제안했습니다.