Databricks가 자체 코딩 AI 벤치마크를 만든 방법과 결과

Databricks 엔지니어들이 실제 수백만 라인의 코드베이스를 대상으로 수행한 코딩 작업을 기반으로 자체 코딩 벤치마크를 구축하여 모델 성능을 평가했습니다.

주요 분석 결과는 다음과 같습니다:

• 모델 성능 계층화: 모델들은 성능과 비용에 따라 세 가지 역량 계층(Capability Tiers)으로 나뉩니다. 최상위 모델은 모든 문제에 강력하지만 비용이 높으며, 중간 계층 모델은 일반적인 작업에서 훨씬 저렴하면서도 높은 효율을 보입니다.
• Open Model의 부상: GLM 5.2와 같은 오픈 모델이 최상위 성능 계층에 진입했으며, 특정 작업에서는 Opus 4.8과 대등한 품질을 보이면서도 비용은 더 저렴한 것으로 나타났습니다.
• 비용 산정의 오류: 단순히 Token당 가격만으로 전체 작업 비용을 예측하는 것은 위험합니다. 모델마다 추론 효율성이 다르기 때문에, 실제 작업 완료에 소요되는 Task-level 비용을 기준으로 평가해야 합니다.
• Harness의 중요성: 모델을 호출하는 방식(Harness)이 비용과 품질에 큰 영향을 미칩니다. 실험 결과, Pi와 같은 단순한 방식이 특정 워크로드에서 가장 좋은 성능을 보였습니다.