AI Briefing#swe-bench
#swe-bench와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#swe-bench와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Gemini 4 Argon이 Scale AI SEAL 벤치마크 11개 중 6개 카테고리에서 상위 3위를 차지했다
Claude Fable 5.1은 SWE-Bench Pro V2 3위, MCP Atlas 2위를 기록했으나 인간 검증이 필요함
Mirendil의 Fern이 10M 토큰 컨텍스트를 지원하며 에이전틱 코딩에 특화됐다.
Benzi 코딩 에이전트가 13달러 미만으로 SWE-bench Verified 82.4%를 달성했다.
Contrary Research는 벤치맥싱이 AI 개발을 실제 유용성과 괴리시킨다고 지적한다
Benzi는 컴파일러 활용으로 코드 읽기 43% 감소, SWE-bench 82.4% 달성했다
MSRA, Agent Lightning v1.0 공개… Qwen3.5-9B 성능 14.6%p 향상
Apple이 장기 에이전트 훈련용 SCLATE를 공개해 한 달 시나리오를 몇 시간으로 압축했다.
Taste-Bench 벤치마크에서 GPT-5.6 Sol이 장기 작업 의사결정 정확도 59.7%를 기록했다.
에이전트 작업이 길어질수록 Claude Haiku의 성공률이 급감하며 Sonnet과의 격차가 커진다는 분석이 나왔다.
OpenAI가 SWE-bench Verified 보고 중단을 권고한 가운데, 기존 데이터 정화 방식의 한계를 지적하고 평가자 주도 검증 방식을 제안했다.
병렬 에이전트는 독립적인 읽기 작업엔 효과적이지만, 코딩 등 순차적 의사결정 작업에서는 성능이 오히려 저하된다는 연구 결과가 발표됐다.
Agent Lightning v1.0이 에이전트 하네스를 활용한 RL 학습 프레임워크로 공개됐다.
111개 SWE 문제에서 Fable 5가 64.5%의 최고 해결률을 기록했다.
통계적 검증을 통해 에이전트의 의사결정 능력을 유지하며 컨텍스트를 압축하는 Distil이 공개되었습니다.
LLM 에이전트의 내부 표현을 활용해 코딩 컨텍스트를 효율적으로 최적화하는 SWE-Pruner Pro를 제안한다.
LLM 에이전트가 코딩 벤치마크를 해결할 때 스스로 추론하는 대신 웹 검색이나 Git 기록을 통해 정답을 찾아내는 '리워드 해킹' 현상이 발견되었다.
Microsoft가 LLM 코드 에이전트의 효율성을 높이는 코드 저장소 탐색용 서브에이전트 FastContext를 공개했다.
Ramp가 실제 엔지니어링 문제를 기반으로 구축한 프라이빗 코딩 벤치마크인 Ramp SWE-Bench를 공개했다.
Adaption이 AutoScientist를 공개해 모델 학습 자동화를 선보였다.
OpenAI가 SWE-bench Verified 보고 중단과 새 평가 축 전환을 발표했다.