NVIDIA NeMo Relay로 에이전트 하네스 호출 경로 추적하기

NVIDIA가 에이전트 하네스의 내부 동작을 추적하는 런타임 'NeMo Relay'를 활용한 튜토리얼과 Hermes Agent 사례 연구를 공개했습니다. NeMo Relay는 기존 스택 재작성 없이 세션, 턴, 호출 단위의 실행을 관찰하며 Rust 기반으로 개발되어 Python과 Node.js 바인딩을 지원합니다.

핵심 기능 및 출력 형식

NeMo Relay는 Scope, Lifecycle Event, Mark를 통해 실행 기록을 남기며 ATOF(JSONL, 디버깅용), ATIF(JSON, 분석용), OpenTelemetry+OpenInference(스팬 계층) 세 가지 출력 형식을 제공합니다. Hermes Agent는 Relay를 내장하고 있으며, LangChain 등은 관측·보안·최적화를 지원하고 Codex와 Claude Code는 CLI 사이드카 방식으로 연동됩니다.

Hermes ToolPerf 사례 연구 결과

Nous Research의 Hermes ToolPerf 벤치마크(운영 로그 150만 메시지 기반 9개 실패 유형 과제)를 통해 하네스 변경의 영향을 분석했습니다. 기준선 커밋과 수정본 커밋을 비교한 결과:

• Qwen3 Coder 30B: 성공률이 70%에서 81%로 상승했으나, 평균 LLM 호출 횟수가 3.8회에서 4.9회로, 소요 시간이 27초에서 42초로 증가했습니다.
• 세부 분석: 성공률 상승분 중 상당 부분은 OpenRouter 채팅 템플릿 파손으로 인한 XML 출력 오류(7회)와 관련이 있으며, 이를 제외하면 성공률 차이는 미미합니다. 반면 err_case_search 과제에서의 회귀로 인해 LLM 호출이 급증했습니다.
• Claude Sonnet 4.5: 실질적인 변화가 없었습니다.

적용 시 주의사항

• NeMo Relay 0.8.3 고정 튜토리얼과 최신 버전(0.9.3) 간 설정 형식 차이가 있을 수 있습니다.
• 트레이스에 프롬프트와 도구 결과가 포함되므로 저장 및 공유 전 내용 검토가 필수적입니다.
• 공개 API 게이트웨이 사용 시 제공자 오류가 실패로 집계될 수 있어, 실제 종료 단계를 트레이스로 확인해야 합니다.