AI Briefing#evaluation
#evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AI 에이전트를 하네스로 묶어 400여 명의 제출물을 자동 채점하는 시스템을 만들고 고도화했다.
Netflix는 LLM judge와 agents로 시놉시스 품질을 인간 기준에 맞게 자동 평가했다.
실제 139개 과제로 LLM 에이전트를 검증하는 Claw-Eval 벤치마크가 공개됐다.
OpenAI가 SWE-bench Verified의 오염과 시험 결함을 지적하며 중단을 권고했다.
에이전트의 정확도와 신뢰성을 높이기 위해 실제 운영 환경의 동작을 반영한 타겟팅된 평가 체계를 구축해야 한다.
RAG의 개념과 필요성을 정리하고, 교육 운영 시스템 적용 사례를 통해 6단계 구현 가이드를 제시한다.
당근은 LLM 기반 Taxonomy Management System으로 카테고리와 속성을 대규모 자동 분류했다.
monday Service는 LangSmith를 활용해 개발 초기 단계부터 에이전트의 품질을 검증하는 코드 중심 평가 프레임워크를 구축했다.
AI 에이전트의 최적 환경이 bash라는 가설을 검증한 결과, 구조화된 데이터 쿼리에서는 SQL 방식이 bash보다 압도적인 성능을 보였다.
전문 영상 생성을 4개 제어 축으로 나눠 10+ 모델의 한계를 드러냈다.