AI Briefing#llm-evaluation
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AI 에이전트가 단순히 과제를 해결하는 것을 넘어, 사용자의 워크플로우와 관습을 얼마나 잘 따르는지에 대한 평가 프레임워크 연구 결과가 발표되었다.
LLM 평가 패널의 모델들이 유사한 오류를 반복하면서, 다수의 모델을 투표에 참여시켜도 실제 정보 가치는 매우 낮다는 연구 결과가 나왔다.
LangChain이 LLM 평가 점수를 인간의 선호도에 맞게 조정할 수 있는 Align Evals 기능을 출시했다.
LangSmith가 Fireworks와 협력하여 Qwen 모델을 미세 조정함으로써 비용을 100배 절감한 'Perceived Error' 탐지 모델을 개발했다.
AI 에이전트는 결정론적이지 않은 추론 과정을 거치므로 기존 소프트웨어와는 다른 관측 가능성과 평가 방식이 필요하다.
AI2가 모델 개발 과정의 반복적인 평가를 효율화하기 위한 새로운 워크벤치 olmo-eval을 출시했다.
디지털 헬스 기업 Numan이 AI 코치 'Nu'의 품질과 규제 준수를 위해 LLM 페르소나를 활용한 자동화된 평가 루프를 구축하는 방법을 설명한다.
DeepSeek V4 Pro가 4가지 정밀 작업 테스트에서 GPT-5.5 Pro보다 높은 정확도와 지시 이행 능력을 보이며 승리했다.
에스토니아 언어 연구소(EKI)가 비주류 언어에서의 LLM 성능과 선동 저항성을 평가하는 새로운 벤치마크를 공개했다.
LLM 생성 방식을 통해 데이터 오염 문제를 해결한 새로운 사이버 보안 AI 평가 방법론 PolyRange가 공개되었다.
데이터 오염 문제를 해결하고 동적 방어 환경을 반영한 AI 보안 평가 벤치마크 PolyRange가 공개되었다.
5종의 프런티어 LLM이 실제 클레임 팩트체크 시 67%의 사례에서 서로 다른 판정을 내리는 것으로 나타났다.
5개의 최상위 LLM이 실제 팩트체크 데이터 1,000건을 분석한 결과, 67%의 항목에서 모델 간 의견이 불일치했다.
실제 GitHub 레포지토리를 활용해 AI 에이전트의 코딩 능력을 평가하는 Apex-Testing이 업데이트되었습니다.
GPT-5.2가 Nature 학술지 피어 리뷰 연구에서 숙련된 인간 리뷰어와 대등한 성능을 보였다.
DystopiaBench가 42개 모델과 6가지 디스토피아 시나리오로 확장되어 모델별 윤리적 거부 능력을 평가했다.
실제 운영 중인 RAG 시스템 감사 결과, 평가 방식과 검색 오류, 모델 선택에 관한 핵심 기술적 발견을 공유한다.