DeepSWE, 코딩 모델 리더보드 오류 지적

Datacurve가 공개한 DeepSWE 벤치마크가 기존의 주요 코딩 모델 리더보드들이 상당 부분 잘못된 채점을 하고 있다는 사실을 밝혀냈다.

이 감사 결과에 따르면, 현재 업계에서 신뢰받는 리더보드들이 모델의 실제 성능을 정확하게 반영하지 못하고 있으며, 이는 기업들이 모델을 선택하고 도입할 때 잘못된 판단을 내릴 위험이 있음을 시사한다.

주요 내용:

• DeepSWE는 프론티어 코딩 모델의 성능을 정밀하게 검증한다.
• 기존 리더보드의 채점 오류(misgrading) 문제를 지적하며 신뢰성에 의문을 제기한다.
• 기업의 기술 결정권자들이 모델을 평가하고 도입할 때 주의해야 할 가이드를 제시한다.