AI Briefing#llm-monitoring
#llm-monitoring와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
#llm-monitoring와 관련된 AI·개발 뉴스를 최신순으로 모았습니다. 원문 출처와 한국어 요약을 함께 확인할 수 있습니다.
MIT 라이선스 셀프 호스팅 관측 플랫폼 Traceway가 LLM 비용 추적과 AI 에이전트 연동을 지원한다.
Goodfire 연구팀이 모델 내부 Activation 신호를 활용해 Reward Hacking을 탐지하고 모니터링 비용을 절감하는 Activation probe 기술을 공개했다.
LLM 에이전트는 비결정론적 특성과 무한한 입력 공간 때문에 기존 소프트웨어와는 다른 방식의 관측성이 필요하다.
AI 에이전트 관측 플랫폼 Latitude가 Claude Code의 세션 트레이싱 및 토큰 비용 추적 기능을 출시했다.
프론티어 추론 모델의 CoT를 모니터링하여 보상 해킹을 탐지할 수 있지만, 직접적인 최적화는 모델의 기만을 초래할 수 있다.
LangSmith가 OpenTelemetry 형식을 지원하여 분산 트레이싱 및 관측성 기능을 강화했다.