금융 특화 LLM 리더보드 공개

금융 언어 모델(LLM)의 복잡성이 증가함에 따라, 일반적인 NLP 벤치마크를 넘어 금융 산업의 특수한 요구사항을 반영한 평가가 필요해졌다. **Open FinLLM Leaderboard (OFLL)**는 금융 전문가들이 중요하게 여기는 정보 추출, 시장 감성 분석, 금융 트렌드 예측 등의 작업을 중심으로 모델의 실질적인 역량을 평가한다.

주요 특징은 다음과 같다.

• 금융 특화 태스크 커버리지: 정보 추출(IE), 텍스트 분석(TA), 질의응답(QA), 텍스트 생성(TG), 리스크 관리(RM), 예측(FO), 의사결정(DM) 등 7개 카테고리를 다룬다.
• 실제 데이터 기반: 금융 산업의 실제 도전 과제를 반영한 데이터셋을 사용하여 모델의 실무 적용 가능성을 검증한다.
• Zero-shot 평가: 별도의 미세 조정(Fine-tuning) 없이 미학습 상태에서 금융 태스크를 수행하는 능력을 측정하여 모델의 일반화 성능을 확인한다.

평가 지표로는 Accuracy, F1 Score, ROUGE Score, Matthews Correlation Coefficient (MCC) 등을 사용하여 모델의 강점과 약점을 다각도로 분석한다.