에이전트 평가: 상세 가이드

LLM 평가의 중심이 정적 벤치마크에서 장기 과업을 수행하는 에이전트로 이동했다. 에이전트는 단순한 질의응답 모델이 아니라, reasoning, tool use, 오류 복구, 그리고 자율성을 바탕으로 환경과 상호작용하는 시스템이다.

에이전트 시스템은 보통 세 요소로 구성된다.

• LLM(또는 reasoning model): 진행 상황을 판단하고 다음 행동을 고른다.
• 도구: API, CLI, MCP 서버, 필요하면 computer-use primitives까지 포함한다.
• 지시문: 사용 가능한 도구와 기대 동작을 명확히 정의한다.

도구 호출은 특수 토큰과 템플릿으로 자연스럽게 처리할 수 있지만, 잘 설계된 도구는 문서가 명확하고 역할이 겹치지 않으며 실패 시 복구가 쉬워야 한다. 사람이 문서를 보고 바로 사용할 수 있는지 묻는 것이 도구 설계의 핵심 기준이다.

평가도 실제 사용 패턴을 닮아야 한다. 단발성 정답률보다 현실적인 하네스, 긴 시간축의 상호작용, 중간 결과 검증, 오류 회복, 그리고 최근 벤치마크 사례를 바탕으로 한 자체 평가 구축이 중요하다고 강조한다.