AI Briefing#llm-as-judge
#llm-as-judge와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-as-judge와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Google Cloud가 에이전트 평가 시 실행 궤적 채점과 라이브 및 플랜 전용 테스트 병행을 권고했다.
생성 없이 확률 분포를 반환해 지연을 줄이고 보정 지표 KL 0.204, Brier 0.097을 기록했습니다.
LangChain이 TypeSafe AI의 Jev를 검증한 결과, 분류 작업 기준 LLM Judge 대비 최대 200배 빠르고 비용은 400배 낮으며 일관성이 높음을 확인했으나, 실험은 초기 단계로 추가 검증이 필요하다.
Dropbox는 DSPy를 활용해 LLM 기반 평가 모델을 고도화하고, 이를 통해 Dash Chat 에이전트의 응답 품질과 효율성을 동시에 개선했다.
CrabTrap은 프로덕션 에이전트의 HTTP/HTTPS 요청을 LLM으로 판정해 보호한다.