AI Briefing#llm-as-a-judge
#llm-as-a-judge와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-as-a-judge와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
Apple의 8B RL 에이전트가 실제 iOS 앱에서 Gemini-3.5-Flash를 능가했다.
Google Antigravity가 Claude Opus 5.5와 Sonnet 5.5를 지원한다
넷플릭스가 LLM-as-a-Judge의 4단계 수명주기와 주간 인간 검토로 정확성을 유지한다.
LLM-as-a-judge와 MCP 명세 최적화로 정확도 3~9%p 개선 및 사내 3개 서비스에 적용했다.
Jev 스타일 모델이 LLM 판정기나 전통 분류기를 일관되게 능가하지 못한다는 벤치마크 결과가 나왔다.
LangSmith가 TypeSafe AI의 Jev 모델을 도입해 LLM 대비 최대 450배 저렴하고 200배 빠른 에이전트 평가를 지원한다.
Amazon OpenSearch와 Bedrock을 활용해 RAG 기반 AI 에이전트의 검색 품질을 정량적으로 측정하는 시스템을 구축한다.
ACL 2024 튜토리얼 세션을 통해 LLM의 텍스트 생성 평가 방식과 취약점 등 최신 연구 트렌드를 살펴본다.
LLM 평가 패널의 모델들이 유사한 오류를 반복하면서, 다수의 모델을 투표에 참여시켜도 실제 정보 가치는 매우 낮다는 연구 결과가 나왔다.
LangChain이 LLM 평가 점수를 인간의 선호도에 맞게 조정할 수 있는 Align Evals 기능을 출시했다.
LangSmith가 인간의 피드백을 학습하여 LLM 평가 모델을 스스로 개선하는 기능을 선보였다.
AgentCore는 Policy, Evaluation, Observability로 기업 운영 체계를 만드는 방법을 소개했다.
Amazon Bedrock이 최대 5개 모델을 비교하며 프롬프트 최적화와 모델 전환을 돕는 도구를 공개했다.
AI 에이전트의 요청을 실시간으로 검사하고 정책에 따라 차단하거나 허용하는 보안 프록시 도구인 CrabTrap이 공개되었습니다.
Netflix는 LLM judge와 agents로 시놉시스 품질을 인간 기준에 맞게 자동 평가했다.