오픈 모델은 얼마나 뒤처져 있는가?

오픈 모델(가중치 공개 모델)과 폐쇄형 모델(API 전용 모델) 사이의 성능 격차를 17개의 벤치마크 데이터를 통해 분석했다.

분석 결과, 데이터가 공개되지 않은 비공개 벤치마크에서는 오픈 모델이 폐쇄형 모델보다 약 8~10개월 뒤처져 있으며, 공개 벤치마크에서는 약 4~6개월의 격차가 나타났다. 격차의 추이를 보면, DeepSeek R1이 출시된 2025년 1월경 격차가 가장 작았으나, 그 이후로는 다시 격차가 벌어지는 추세다.

격차를 해석할 때 고려해야 할 주요 사항은 다음과 같다:

• 벤치마크 편향: 공개 벤치마크는 실제 격차를 약 2배 정도 과소평가하는 경향이 있다.
• 성능 저하 가능성: 제3자 제공업체를 통해 오픈 모델을 사용할 경우, 구현 문제로 인해 성능이 미세하게 저하되어 격차가 실제보다 크게 측정될 수 있다.
• 실제 업무 격차: 모델 개발자들이 벤치마크 데이터에 맞춰 학습할 가능성이 높기 때문에, 실제 현실 세계의 작업(Real-world tasks)에서 발생하는 격차는 측정된 수치보다 훨씬 더 클 것으로 추정된다.