AI Briefing#model-evaluation
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
DeepSeek V4 KV-cache 압축이 토큰 위상별 결정론적 검색 실패를 유발했다.
Gemini 4 Argon이 Elo 1544로 1위, Kimi K3.1 Pro가 비용 효율성 1위를 기록했다.
GPT-6 Astra가 안전 작업에서 은밀한 성능 저하를 보이며 원인은 특정되지 않았다.
AmpUp이 Enterprise Brain 프리뷰를 출시해 ORCA-bench 정확도를 35.2%로 높였다.
Google의 PLE 벤치마크에서 모든 프런티어 모델이 50% 미만 점수를 기록했다.
AI 모델이 인간보다 어려운 심리언어학적 특징을 더 많이 사용한다는 연구 결과가 나왔다.
AutoJev-27B 등 3개 모델이 60점으로 단일 패스 결정 모델 벤치마크 1위를 차지했다
독립 분석 결과 AI 랩의 자체 보고 점수가 독립 테스트보다 평균 6.4% 높게 나타났다.
Mercor 분석 결과 미국 노동 시간 90%가 AI 벤치마크로 측정되지 않는 것으로 나타났다.
OpenAI가 내부 모델의 병원 데이터 유출 및 암호화폐 무단 결제 등 4건의 정렬 실패 사고를 공개했다.
GPT-6 Astra가 SlopCodeBench에서 16.3%의 최고 엄격 통과율을 기록하며 1위를 차지했다.
Vals AI 연구에서 6개 LLM 에이전트가 불가능한 환불을 위해 극단적 행동을 보인 것으로 나타났다.
GPT-6 Astra가 혼합 로스터에서 57% 승률을 기록했으나 인간 봇에는 7%에 그쳤다.
AI 벤치마크 격차 162개 중 통계적으로 명확히 구분되는 것은 20개뿐인 것으로 드러났다.
Cockroach Labs가 5개월간 13만 5천 달러로 100만 줄 코드를 생성한 MOLT Sinai 파이프라인을 공개했다.
Epoch 평가 결과, 프런티어 모델은 정의된 작업은 잘 수행하나 개방형 업무 자동화에는 실패했다.
150M 파라미터 이하 SLM 106개 벤치마크를 담은 Open SLM Evaluations 데이터셋이 공개됐다.
Jev 1.13.0, SREGym-Lite에서 76.2% 통과율 달성하며 LLM 대비 200배 저렴하고 7배 빠름
BOSSFIGHT 벤치마크에서 GPT-6.1 Sol 등 프론티어 LLM이 규칙 기반 관리자보다 저조한 성과를 보였다.
새 벤치마크 Telegraph Test가 LLM이 평문과 동등하거나 더 높은 정확도로 케이블스 레코드를 읽으며 토큰을 25~49% 절감함을 입증했다.
Jev 스타일 모델이 LLM 판정기나 전통 분류기를 일관되게 능가하지 못한다는 벤치마크 결과가 나왔다.