Senior SWE-Bench: 에이전트를 시니어 엔지니어로 평가하는 오픈소스 벤치마크

기존의 AI 코딩 평가가 명확한 요구사항을 가진 주니어 수준에 머물렀다면, Senior SWE-Bench는 실제 현업 환경과 유사한 고난도 과제를 제공하여 AI 에이전트의 실질적인 문제 해결 능력을 측정합니다.

주요 특징은 다음과 같습니다:

• 현실적인 지시문(Realistic Instructions): 과도하게 상세한 요구사항 대신, 자연어 메시지 형태의 모호한 지시문을 통해 에이전트의 자율적 판단력을 테스트합니다.
• 런타임 조사 기반 디버깅(Runtime Investigation): 단순 코드 수정을 넘어, 로그 분석, 프로파일링 데이터 확인, 재현 단계 수행 등 실행 중 발생하는 복잡한 버그를 추적하는 능력을 평가합니다.
• 코드 품질 및 적절성 평가(Tasteful Solves): 단순히 동작하는 코드를 넘어, 기존 코드베이스의 관행을 따르는지, 코드 품질이 적절한지를 Validation Agent와 품질 메트릭을 통해 검증합니다.

이 벤치마크는 에이전트가 스스로 문제를 정의하고, 복잡한 시스템 내에서 최적의 해결책을 찾아내는 시니어 엔지니어의 워크플로우를 재현하는 데 초점을 맞추고 있습니다.