AutoBe, 월간 Local LLM 백엔드 벤치마크

AutoBe가 GLM, Qwen, DeepSeek 및 프론티어 모델의 백엔드 생성 성능을 월간 비교하는 정식 벤치마크를 공개했다.

• 기존의 비통제 측정 대신 통제 변수와 채점 루브릭을 적용했다.
• function calling harness가 프론티어 모델과 로컬 모델의 격차를 사실상 좁혔다.
• gpt-5.4의 DB/API 설계 성능은 qwen3.5-35b-a3b와 비슷했고, claude-sonnet-4.6의 로직 성능은 qwen3.5-27b 수준이었다.
• 프론티어 모델 1회 런은 2~3억 토큰 규모이며, GPT-5.5 가격 기준 모델당 $1,000~$1,500가 들어 다음 달부터는 제외한다.
• AutoBe SDK는 시각은 거칠지만 기능은 모두 동작하는 AI 프론트엔드를 end-to-end로 구동할 수 있어, 2~3개월 내 프론트엔드 자동화가 벤치마크에 추가된다.
• 아직 해석이 남은 결과로는 gpt-5.4가 mini보다 낮은 점수, deepseek-v4-pro와 Flash의 근소한 차이, Qwen dense 27B의 MoE 대비 우세가 있다.