AI Briefing#llm-as-a-judge
#llm-as-a-judge와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-as-a-judge와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Dropbox Dash는 index, knowledge graph, MCP 최적화로 토큰과 지연을 줄인다.
LLM을 판사로 활용해 RAG 시스템의 성능을 평가하는 방법과 RAG Triad 프레임워크를 소개한다.
카카오 CodeBuddy가 LLM as a Judge를 활용해 성능 평가를 수행하며, 프롬프트 구조 개선과 위치 편향 완화를 통해 평가 신뢰도를 높이는 방안을 제시했습니다.
농업 지원용 RAG 챗봇의 신뢰성을 확보하기 위해 LLM-as-a-Judge 평가 체계를 구축한 사례를 다룬다.
LangSmith가 LLM 답변 간의 우열을 직접 비교하여 인간의 선호도를 더 정확히 측정하는 Pairwise Evaluation 기능을 출시했다.