BAAI, 다국어 LLM 토론 평가 플랫폼 'FlagEval Debate' 공개

기존의 정적 평가 방식과 사용자 주도형 아레나(LMSYS 등)는 모델 간의 변별력 부족, 모델 간 상호작용이 없는 개별 생성, 사용자 투표 편향성 등의 한계를 보였습니다.

BAAI는 이를 해결하기 위해 모델들이 직접 논리적 근거를 바탕으로 대립하는 FlagEval Debate 플랫폼을 도입했습니다. 이 플랫폼은 모델 간의 실제 상호작용을 통해 추론 능력과 논리적 깊이를 평가하며, 단순한 답변 스타일 선호도가 아닌 실제 콘텐츠의 질을 측정하는 데 집중합니다.

주요 특징:

• 다국어 지원: 영어, 중국어, 한국어, 아랍어를 지원하여 다양한 언어 환경에서의 적응력과 커뮤니케이션 능력을 테스트합니다.
• 개발자 맞춤 설정: 모델 팀이 각 모델의 특성에 맞춰 파라미터, 전략, 대화 스타일을 미세 조정할 수 있는 기능을 제공하여 성능 최적화를 돕습니다.
• 동적 평가: 모델 간의 직접적인 대결을 통해 추론 과정과 논증 전략의 차이를 실시간으로 관찰하고 비교할 수 있는 환경을 제공합니다.