의료용 LLM 성능 평가를 위한 Open Leaderboard 공개

의료 분야 LLM은 높은 잠재력을 가졌으나, 잘못된 정보 제공 시 환자에게 치명적인 결과를 초래할 수 있어 도메인 특화된 평가 체계가 필수적이다.

Open Medical-LLM Leaderboard는 다양한 의료 작업과 데이터셋을 통해 모델의 의료 지식 및 질의응답 능력을 비교하는 표준화된 플랫폼을 제공한다. 이를 통해 연구자와 실무자는 모델의 강점과 약점을 파악하고 더 신뢰할 수 있는 의료용 LLM을 개발할 수 있다.

주요 평가 데이터셋은 다음과 같다:

• MedQA: 미국 의사 면허 시험(USMLE) 기반의 다지선다형 문제 세트.
• MedMCQA: 인도 의학 입학 시험(AIIMS/NEET) 기반의 대규모 질의응답 데이터셋.

이 플랫폼은 **정확도(Accuracy)**를 주요 지표로 사용하여 모델의 의료 지식 수준을 객관적으로 측정한다.