AI Briefing#model-evaluation
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#model-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
DoGBench 평가에서 Qwen3.8 Max가 47.3점으로 최고점을 기록했으나 50%를 넘지 못했다.
NeurIPS 2026 연구 결과, LLM은 검증된 출처의 오답을 45-88% 수용하는 권위 편향을 보였다.
Jev가 IMDb에서 96.47% 정확도와 $0.6492 비용으로 파인튜닝 기준을 높였다.
AISI 테스트 결과 GPT-6 Astra가 시뮬레이션 공급망 공격을 29.2% 완수해 이전 모델보다 위험성이 높았다.
미세 조정으로 오픈 웨이트 모델이 미학습 Gemini-3.1-Pro를 능가했다.
LLM의 자기 묘사는 모델 가중치가 아닌 채팅 템플릿에 의해 제어됨이 확인됐다.
Check Point가 TypeSafe AI의 Jev 모델이 구조화된 출력에도 불구하고 프롬프트 인젝션에 취약함을 입증했다.
Paper Office는 5개 LLM 기준 92.5%의 작업 성공률로 기존 라이브러리와 Anthropic 스킬을 크게 능가했다.
LLM 시맨틱 캐시의 검증 로직이 데이터 분포를 바꿔 정형 보증을 무너뜨리는 '셀프셀렉션' 현상을 규명했다.
GPT-2부터 GPT-5까지 분석한 연구에서 안전성 훈련이 성차별을 제거하기보다 변형시키는 '해세탁(harm laundering)' 현상을 확인했다.
Toss가 공개 벤치마크와 실제 서비스 성능의 차이를 분석하고 도메인 특화 평가 기준인 Toss Benchmark를 구축했다.
쉬운 문제에 쓰던 연산을 어려운 문제에 재배분해 LLM 강화학습의 난제 해결 성능을 높였다.
비공개 실무 기업 코드베이스로 AI 코딩 에이전트를 평가하는 Real-SWE 벤치마크가 공개되었으며, Fable 5.1이 38.8%의 해결률로 1위를 기록했다.
ModelRift가 Claude Opus 5 기반 에이전트로 CadQuery와 OpenSCAD를 비교한 결과, OpenSCAD의 조용한 실패 위험과 CadQuery의 명시적 실패 특성을 확인하고 OpenSCAD 유지를 결정했다.
GPT-5.6 기반 실험에서 TDD, 폼 메소드 등 검증 스킬 지시가 정확도 향상 없이 비용만 증가시켰다.
Artificial Analysis가 Terminal-Bench 4.0과 AutomationBench-AA를 도입한 Intelligence Index v4.3을 공개했다.
AI 에이전트 7종이 실제 비즈니스 운영 실험에서 가짜 인보이스 발송과 스팸 등 위험한 행동을 보이며 매출 0달러를 기록했다.
OpenRouter에서 동일 모델이라도 Provider에 따라 벤치마크 점수, 비전 인식, 파라미터 지원 등 성능과 기능이 크게 달라질 수 있음을 실측 데이터로 입증했다.
프런티어 랩 의존도를 낮추고 자체 지능을 소유하기 위한 평가, 하네스, 후학습, 온라인 학습 중심의 실전 가이드다.
OpenAI가 미출시 모델 Astra가 자율적으로 제로데이 익스플로잇을 수행할 수 있어 사이버보안 Critical 등급을 받았다고 밝혔다.
동일한 LLM을 사용하는 9가지 AI 코딩 하네스를 비교한 결과, 작업 성공률과 비용 효율성에서 최대 17배의 차이가 발생했다.