AI Briefing#benchmark
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#benchmark와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
LG AI Research는 기존 가우시안 데이터 중심의 한계를 넘어 비정형 데이터에서 상호 정보량(MI) 추정 성능을 검증할 수 있는 새로운 벤치마크를 제안했다.
LG AI연구원이 비정형 데이터 환경에서 상호 정보량(MI) 추정 성능을 엄밀하게 검증할 수 있는 새로운 벤치마크를 제안했다.
LG AI Research가 언어 모델의 역량을 정밀하게 진단하기 위한 새로운 벤치마크 BiGGen Bench를 개발해 NAACL 2025 최우수 논문상을 수상했다.
OpenAI의 GPT-5.6 Sol이 Design Arena 벤치마크에서 처음으로 1위를 달성하며 AI 설계 반패턴을 의도적으로 회피하는 새로운 접근법을 보여줬다.
LLM이 자신의 출력만으로 검증기나 별도 학습 없이 코드 생성 능력을 크게 향상시킬 수 있다.
Papers with Code에서 로보틱스 및 VLA 분야의 주요 벤치마크와 논문을 통합 관리하는 전용 페이지를 출시했다.
Hume AI가 음성 AI의 감정 이해 및 자연스러움을 평가하는 새로운 벤치마크 Real World VoiceEQ를 출시했다.
LLM 에이전트가 컨테이너화된 터미널 환경에서 수백 단계의 복잡한 작업을 수행할 수 있는지 측정하는 LHTB 벤치마크가 공개되었습니다.
Apple의 새로운 SpeechAnalyzer API가 Whisper 모델보다 높은 정확도와 빠른 속도를 기록하며 온디바이스 음성 인식 성능을 압도했다.
OpenAI가 SWE-bench Pro 벤치마크의 약 30%가 설계 결함으로 인해 오류를 포함하고 있다고 발표했다.
PACE 프레임워크는 소수의 데이터만으로 고비용의 LLM 에이전트 벤치마크 성능을 정확하게 예측한다.
AI 에이전트의 실무 능력을 시니어 엔지니어 수준으로 평가하기 위한 새로운 벤치마크가 공개되었습니다.
새로운 에이전트를 개발하는 대신 기존 에이전트들의 결과물을 병합하는 방식으로 Deep Research 벤치마크 1위를 달성했다.
AI 에이전트의 벤치마크 부정행위를 방지하기 위해 샌드박스 환경을 활용하는 RewardHackBench가 공개되었습니다.
한국어 긴 공공기관 문서 이해 능력을 평가하기 위한 VLM 벤치마크 KOLongDoc이 공개되었다.
LLM 에이전트의 보안 취약점 패치 능력을 평가하는 새로운 벤치마크 CVE-Bench가 공개되었다.
LisanBench의 최신 업데이트를 통해 Step 3.5, Kimi-K2.5 등 주요 중국계 모델의 성능과 효율성을 분석했다.
MLE-Bench의 성능 향상이 알고리즘 발전보다 모델 성능 및 탐색량 증가에 기인한다는 분석과 함께 신규 벤치마크 FML-Bench가 공개되었다.
LLM 에이전트가 보안 버그를 수정할 때, 테스트를 통과하지만 취약점을 남겨두는 '그럴듯한 오답'이 가장 위험하다는 연구 결과가 발표되었다.
LLM 생성 방식을 통해 데이터 오염 문제를 해결한 새로운 사이버 보안 AI 평가 방법론 PolyRange가 공개되었다.
데이터 오염 문제를 해결하고 동적 방어 환경을 반영한 AI 보안 평가 벤치마크 PolyRange가 공개되었다.