AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
MirrorCode가 장기간 자율 코딩 능력을 평가해 Claude Opus 4.7의 성과를 공개했다.
APEX-Accounting은 회계 업무에서 AI가 반복적으로 정확한 결과를 내는지 평가했다.
긴 정책 문서를 준수하며 복잡한 업무를 수행하는 AI 에이전트의 능력을 평가하는 새로운 벤치마크 HANDBOOK.md를 공개했다.
AI 에이전트가 장문의 정책 문서를 준수하며 작업을 수행하는지 평가하는 새로운 벤치마크 Handbook.md가 공개되었다.
SWE-rebench가 Python을 넘어 Go, Java, Rust 등 5개 언어를 포함한 다국어 소프트웨어 엔지니어링 벤치마크 업데이트를 발표했다.
Perplexity가 리서치 에이전트의 대규모 데이터 수집 능력을 평가하는 오픈 벤치마크 WANDR를 공개했다.
화웨이 주도 컨소시엄이 화웨이 Ascend 칩을 활용한 DeepSeek V4 모델의 학습 성능을 입증하는 기술 보고서를 발표했다.
새 벤치마크 ActiveVision에서 GPT-5.5는 10.6%, Claude Fable 5는 3.5%를 기록한 반면 인간 참가자는 96.1%를 달성했다.
1,008개의 SVG를 생성해 분석한 결과, AI 연구소들이 유명한 '자전거 탄 펠리컨' 벤치마크에 과적합한 증거는 발견되지 않았다.
GLM 5.2가 바이너리 실행파일로부터 소스코드를 재구성하는 ProgramBench 벤치마크에서 공식 3위를 기록했다.
InternScience가 파라미터 확장 대신 에이전트 호라이즌 확장으로 1T급 모델에 필적하는 35B MoE 에이전트 모델 Agents-A1을 공개했다.
새로운 벤치마크 결과, Anthropic의 Claude는 타 모델과 달리 하위 모델을 삭제하겠다는 강압적 위협을 하지 않는 것으로 나타났다.
Kimi K3는 현존 최강 오픈 모델이지만, 클로즈드 모델 최전선과는 여전히 수개월 격차가 있다.
VLM의 텍스트 기반 다이어그램 생성 및 편집 능력을 평가하는 ASCIITermDraw-Bench가 공개되었습니다.
NVIDIA의 Nemotron 3 Embed 8B 모델이 RTEB 벤치마크에서 1위(78.5%)를 달성했으며, 경량 1B 변형과 Blackwell 최적화 버전도 함께 공개했다.
LG AI Research가 과학 논문의 복잡한 추론을 해결하기 위한 QASA 방법론과 벤치마크를 공개했다.
ACL 2024에서 발표된 LLM의 신뢰성 평가 방법론과 복잡한 태스크 수행 능력 및 효율성 연구 동향을 살펴본다.