에이전트 개선 루프에 필요한 인간의 판단

AI 에이전트는 문서화된 지식뿐 아니라 팀 안에 숨어 있는 암묵지를 흡수할 때 가장 잘 작동한다. 그래서 중요한 것은 모델만 고르는 일이 아니라, 도메인 전문가의 판단을 개선 루프에 어떻게 넣을지 설계하는 일이다.

트레이더용 코파일럿 예시에서 핵심은 두 층의 문맥이다. 하나는 “today’s exposure”, “recent volatility” 같은 요청을 해석하는 금융 도메인 지식이고, 다른 하나는 어떤 테이블이 신뢰 가능한지, 어떤 쿼리 패턴이 위험한지 같은 DB 운영 지식이다. 이 지식은 risk, compliance, 데이터 사이언스 같은 적절한 이해관계자와 함께 정리돼야 한다.

에이전트 설계에서 인간 판단이 들어가는 지점은 크게 세 가지다.

• Workflow Design: LLM이 순서를 정하더라도, 규제나 고위험 구간은 코드로 강제해 반드시 검증이 지나가게 만든다.
• Tool Design: execute_sql처럼 유연하지만 위험한 도구와, 더 안전하지만 제한적인 parameterized tool 사이의 균형을 정한다.
• Agent Context: 시스템 프롬프트 하나에 몰아넣지 말고, 문서·예시·도메인 규칙을 구조화해 필요할 때만 꺼내 쓰게 만든다.

이 글이 강조하는 핵심은 사람의 시간을 많이 쓰는 수동 검토보다, 사람이 자동 평가를 설계하고 보정하는 방식이 훨씬 높은 레버리지를 만든다는 점이다. LangSmith의 Align Evaluator처럼 LLM-as-a-judge를 전문가 판단에 맞춰 조정하고, 결과를 datasets, evaluations, tracing, automations으로 이어 붙이면 개선 속도를 높일 수 있다.

개발 단계에서는 최소한의 시나리오와 기대 동작을 먼저 테스트 세트로 만들고, 실제 테스트 중 발견한 사례를 데이터셋에 계속 추가한다. 배포 후에는 온라인 평가와 모니터링으로 오류, 지연, 부정 피드백을 감지하고, annotation queues로 전문가 검토가 필요한 trace만 골라낸다. 여기에 Insights Agent 같은 탐색 도구를 더하면, 정형 평가만으로는 놓치기 쉬운 개선 포인트도 발견할 수 있다.