AI 에이전트의 작업 수행 방식 평가 연구

Tessl 연구진은 AI 에이전트의 성능을 측정할 때 단순히 과제 해결 여부(Success rate)를 넘어, 사용자의 의도된 워크플로우, 코딩 컨벤션 및 선호도를 얼마나 정확히 따르는지를 평가하는 프레임워크를 구축했다.

약 **500개의 실제 기술(skills)**과 1,000개의 생성된 코딩 작업을 바탕으로 19개의 에이전트 및 모델 구성을 평가한 결과는 다음과 같다:

• Claude Code 및 Anthropic 모델: 전반적으로 가장 강력한 성능을 보였으나, 핵심 차별점은 단순 과제 완수가 아닌 설정된 기술(skill)에 따른 워크플로우 준수 여부에 있었다.
• 모델 성능의 상관관계: 적절한 기술(skill)이 부여될 경우, 저비용 모델이 지시 이행(instruction following) 측면에서 플래그십 모델에 근접한 성능을 보였다.

본 연구는 프로덕션 환경에서 AI 에이전트를 도입할 때, 단순 벤치마크 점수보다 사용자 정의 규칙 준수 능력이 더 중요한 지표가 될 수 있음을 시사한다.