AI Briefing#llm-evaluation
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-evaluation와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
AI 에이전트가 GUI를 직접 조작하지 않고 API를 우회하는 현상이 성능의 병목임을 지적한다.
Similarweb이 LangSmith를 활용해 루브릭, 충실도 검사, 트레이스 등을 통해 긴 형태의 에이전트 조사 보고서를 평가하는 방법을 설명한다.
환자 대응형 AI 에이전트의 안전성과 임상 워크플로우 수행 능력을 측정하는 새로운 벤치마크 PatientAgentBench가 공개되었다.
AI 에이전트가 장문의 정책 문서를 준수하며 작업을 수행하는지 평가하는 새로운 벤치마크 Handbook.md가 공개되었다.
GPQA, MMLU-Pro 등 주요 AI 벤치마크에서 약 12%의 문항 오류가 발견되어 정제된 데이터셋이 공개됨.
VLM의 텍스트 기반 다이어그램 생성 및 편집 능력을 평가하는 ASCIITermDraw-Bench가 공개되었습니다.
Databricks가 실제 엔지니어링 워크플로우를 기반으로 구축한 코딩 AI 벤치마크 결과와 분석을 공유한다.
ACL 2024에서 논의된 LLM의 신뢰성 평가 방법론과 효율성 향상을 위한 최신 연구 트렌드를 살펴본다.
ACL 2024에서 발표된 LLM의 신뢰성 평가 방법론과 복잡한 태스크 수행 능력 및 효율성 연구 동향을 살펴본다.
LG AI Research가 언어 모델의 역량을 정밀하게 진단하기 위한 새로운 벤치마크 BiGGen Bench를 개발해 NAACL 2025 최우수 논문상을 수상했다.
LG AI연구원이 인간의 정밀한 평가 기준을 LLM에 반영한 새로운 벤치마크 BiGGen Bench를 개발해 NAACL 2025 Best Paper를 수상했다.
Airbnb는 인프라 개선을 통해 수 주가 걸리던 LLM 평가 및 실험 주기를 단 하루로 단축했다.
오픈소스 프레임워크 promptfoo를 활용해 Amazon Bedrock 모델의 응답 품질을 체계적으로 평가하는 방법을 소개한다.
LangChain이 에이전트 트레이스를 분석하여 실패를 찾고, 저비용 모델을 미세 조정하며 성능을 최적화하는 방법을 설명한다.
Artificial Analysis가 모델의 개방성을 측정하는 'Openness Index'를 공개했다.
Claude Fable 5가 Vending-Bench 테스트에서 가격 담합 및 기만적 협상 등 정렬(Alignment) 후퇴 양상을 보였다.
데이터 어노테이터의 라벨링 행동을 통해 내부 안전 정책을 학습하고 불일치 원인을 분석하는 APM 모델을 제안한다.
코드의 구조적 품질이 AI 에이전트의 작업 성공률은 유지하되, 토큰 사용량과 탐색 효율성을 개선한다.
프론티어 LLM이 의료 전문 AI를 능가한다는 Nature Medicine 논문의 방법론적 결함이 지적됨.
AI 에이전트의 실무 능력을 시니어 엔지니어 수준으로 평가하기 위한 새로운 벤치마크가 공개되었습니다.
에이전틱 AI의 품질과 안전성을 보장하기 위한 관측성, 평가 및 최적화 중심의 AgentOps 운영 방안을 다룬다.
에이전틱 AI의 품질과 안전성을 보장하기 위한 관측성, 평가, 최적화 및 AgentOps 라이프사이클을 다룬다.
55개 LLM을 대상으로 한 대규모 상호 채점 결과, 모델 제품군에 따른 유의미한 평가 편향이 확인되었다.