Benzi, 코드 읽기 43% 줄이고 SWE-bench 82.4% 기록

• Benzi는 SWE-bench Verified에서 82.4%의 점수를 기록하며, DeepSeek v4.1Flash를 사용하는 baseline mini-swe-agent 대비 소스 코드 읽기량을 43% 줄임
• 결정적인 코드 구조 해석을 로컬 컴파일러로 위임하여, AI 모델이 원시 코드베이스 파싱 대신 고차원 의사결정에 인지 자원을 집중하도록 함
• 10개 이상의 프론트엔드 언어와 3개 언어를 지원하며 모델에 구애받지 않음. RESOLVED, OBSERVED 등의 계층 분류 체계를 통해 저장소를 한 번 인덱싱하고 편집 시 증분 업데이트함
• 전체 에이전트 루프는 CLI 또는 VS Code 확장 프로그램으로 이용 가능하며, 코드 맵은 MCP를 통해 무료로 제공되나 자동 롤백 기능은 전체 루프에서만 제한적으로 사용 가능함

Architecture and Performance

• 컴파일러는 경량화되어 로컬에서 실행되며, 런타임 트레이서를 통해 엣지를 관찰하고 코드 관계를 해석함
• 구조적 지식을 컴파일러에 넘겨줌으로써 대규모 코드베이스가 유발하는 인지 부하를 완화하고, 정확도 손실 없이 효율성을 향상시킴
• https://varianttech.net/demo 에서 5초 분량의 데모를 확인할 수 있으며, https://github.com/oooscoos/Benzi 에는 SWE-bench 결과와 Benzi가 생성한 코드가 포함됨. 다만 시스템 자체는 오픈 소스가 아님