AI 에이전트의 Java 프레임워크 마이그레이션 능력 검증

기존의 코드 생성 벤치마크와 달리, ScarfBench는 단순한 코드 변환을 넘어 애플리케이션이 실제로 빌드, 배포 및 동작을 유지하는지를 평가하는 실질적인 벤치마크입니다.

주요 특징은 다음과 같습니다:

• 대상 프레임워크: Spring, Jakarta EE, Quarkus 간의 마이그레이션 수행
• 평가 지표: 코드 생성 여부가 아닌, **빌드 성공 여부, 올바른 배포, 동작 검증(Behavioral Validation)**을 기준으로 측정
• 데이터 규모: 34개의 애플리케이션, 204개의 마이그레이션 작업, 약 15만 라인의 코드 및 1,331개의 전문가 작성 테스트 포함

최신 AI 에이전트들을 대상으로 테스트한 결과, 기존의 소프트웨어 공학 벤치마크 성적과 달리 실제 프레임워크 마이그레이션에서의 동작 검증 성공률은 10% 미만에 그쳐, 코드 생성과 실제 애플리케이션 동작 유지 사이의 큰 격차를 보여주었습니다.