함수호출 백엔드 벤치마크

오픈소스 백엔드 코딩 에이전트의 function calling 벤치마크를 통제 변수와 점수 기준까지 갖춘 형태로 다시 만들었다.

이전의 비공식 측정과 달리, 이번 버전은 재현 가능한 비교를 목표로 한다.

핵심 결론은 function calling 하네스가 백엔드 생성에서 프런티어-로컬 격차를 사실상 좁혔다는 점이다.

• DB/API 설계는 gpt-5.4와 qwen3.5-35b-a3b가 비슷했다.
• 로직은 claude-sonnet-4.6이 qwen3.5-27b 수준으로 평가됐다.

추가로 gpt-5.4가 mini 버전보다 낮게 나오고, deepseek-v4-pro도 qwen3.5-35b-a3b 아래에 머물렀다. Qwen 계열 내부에서도 추가적인 역전 현상이 관찰됐지만 해석은 아직 진행 중이다.

운영 범위도 바뀐다.

• 프런티어 모델은 이번이 마지막 포함이다.
• 한 번의 실행이 2~3억 토큰 규모라 GPT-5.5 가격 기준 모델당 $1,000~$1,500가 든다.
• 다음 달부터는 $0.25/M 이하 OpenRouter 엔드포인트나 64GB 통합 메모리 노트북에서 돌아가는 모델만 비교한다.