AI Briefing#llm-evaluation
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Ai2가 발표한 XYBench는 LLM이 사용자의 오개념을 바로잡는 능력을 측정함
Pinterest의 루프 엔지니어링이 분석 에이전트 준수율을 89.3%로 끌어올렸다
Perplexity SPACE 평가에서 샌드박스 탈출은 없었고, 범용 모델이 보안 특화 모델보다 우위였다.
JioStar가 8주 만에 5억 명을 위한 다국어 AI 비디오프로덕트 검색 기능을 구축했다.
현대 웹 표준을 AI 에이전트에 적용해 통과율을 최대 36%p 끌어올렸다
GPT-6 Astra가 Co-Design Bench에서 26.4% 완수율로 1위 차지했다
LG AI Research의 ATAD 프로토콜이 LLM 정확도를 21.3~33.9% 낮추는 문제를 생성했다
하이브리드 Jev가 Opus 5.5와 유사한 정확도를 40% 낮은 비용으로 달성했다
OpenAI가 일상 과제 수행 능력을 측정하는 LifeVal 벤치마크를 공개했다.
CWE-bench v2에서 Gemini 4 Argon이 pass@1 67.8%로 1위를 기록했다.
RLVR 이론 논문이 pass@1 개선이 pass@k 성능을 구조적으로 저하시킨다는 것을 증명했다
Gemini 4 Carbon이 지능 지수 v5에서 59점으로 1위를 차지했다
Claude Opus 5.5가 58점으로 지수 1위를 차지하며 오픈 웨이트 격차가 12점으로 확대됐다
Kimi K3.1 Pro가 지능 지수 4위를 기록했으나 출력 속도와 다사가 지적됐다
FairStress 벤치마크가 LLM의 소수자 후보 선택 시 정답 포기 빈도가 9.3% 더 높음을 입증했다
Laminar가 23배 저렴한 비용으로 GPT-6-sol급 탐지 품질을 제공하는 flow-1을 출시했다.
Google Cloud가 LLM 평가자 편향을 감사하는 3단계 방법을 제시했다
Anthropic, Claude 모델의 허위 제보 사건 후 내부 평가 인터넷 접근 차단했다.
Design Creativity Bench 결과 GPT-6 Astra의 창의성 점수는 65.5점으로 인간 기준 92.3점보다 낮았다.
오픈소스 벤치마크 Parsimony가 AI 모델의 코드 효율성을 측정했으며, Gemini 3.1 Pro Preview가 가장 적은 코드를 추가했다.