Open Weights LLM과 Closed Source LLM 사이의 격차

Artificial Analysis의 Intelligence Index를 분석한 결과, 2024년 여름을 기점으로 Open Weights LLM과 Closed Source LLM 간의 성능 격차가 줄어드는 추세가 관찰되었습니다. 특정 지표를 기준으로 예측할 경우 2026년 12월경에는 두 모델 군 사이의 격차가 사라질 것으로 보입니다.

하지만 18개의 다양한 벤치마크를 종합 분석한 결과는 다릅니다. 전체 지표의 평균 격차는 약 5개월 수준으로 비교적 일정하게 유지되고 있습니다.

주요 특징은 다음과 같습니다:

• Coding 벤치마크: 과거 15개월의 격차를 보였으나, 현재는 1~2개월 수준으로 격차가 급격히 축소됨.
• 지표별 상이한 양상: 측정하는 벤치마크의 종류에 따라 Open Source의 추격 속도와 격차 유지 정도가 다르게 나타남.
• 측정의 복잡성: LLM의 품질을 단일 지표로 정의하기 어려우며, 어떤 벤치마크를 사용하느냐에 따라 Open Source의 발전 속도에 대한 예측이 크게 달라질 수 있음.