AI21, 공개 벤치마크의 난이도 과대평가로 인한 모델 라우팅 비효율 지적

AI21이 7주간 내부 개발자 트래픽을 분석한 결과, 순수 코드 생성은 전체 대화의 11%에 불과하며 대부분은 명확화 질문이나 맥락 공유인 것으로 나타났다. 반면 SWE-bench 같은 공개 벤치마크는 코드 생성과 버그 수정에 집중되어 있다.

AI21은 실제 트래픽 패턴을 반영한 613개 작업 벤치마크를 구축해 단문 메시지 및 세션 중반 맥락을 포함했다. 난이도에 따라 저가 및 프리미엄 모델로 요청을 라우팅하는 지능형 Gateway를 테스트한 결과, 공개 벤치마크는 Gateway가 프리미엄 모델로 과도하게 라우팅하도록 유도했다(목표 25% 대비 약 50%). 새로운 벤치마크는 라이브 트래픽과 밀접하게 일치하며 목표치와 0.5점 이내의 차이를 보였다. 이는 공개 벤치마크가 작업 난이도를 과대평가해 모델 선택을 오도함을 입증한다.