Signals, agent trace 선별
Signals: finding the most informative agent traces without LLM judges [R]
·2026.05.11 02:26
Signals는 LLM judges 없이 유의미한 agent trace를 고르는 경량 기법이다.
Signals는 에이전트 상호작용에서 구조화된 신호를 뽑아, 사람이나 추가 LLM judge 없이도 검토할 가치가 높은 trajectory를 먼저 골라낸다.
- interaction, execution, environment 패턴을 묶은 taxonomy로 신호를 정의한다.
- misalignment, stagnation, disengagement, failure, looping, exhaustion 같은 상태를 포착한다.
- 온라인 동작은 바꾸지 않으며, GPU 없이 계산할 수 있는 경량 방식이다.
τ-bench annotation study에서는 signal-based sampling의 informativeness가 **82%**로, random sampling의 **54%**보다 높았다.
그 결과 informative trajectory당 효율이 1.52x 개선됐고, 논문은 arXiv 2604.00356으로 공개됐다. 구현체는 katanemo/plano에 있다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.