에이전트 성능 개선 루프에서의 인간의 판단력

AI 에이전트는 팀이 축적한 지식과 판단력을 반영할 때 가장 잘 작동한다. 문서화된 지식도 중요하지만, 직원들의 머릿속에 있는 **암묵적 지식(Tacit Knowledge)**을 에이전트에게 전달하는 것이 핵심이다. 이를 위해서는 도메인 전문가의 입력을 포함하는 **개선 루프(Improvement Loop)**가 반드시 필요하다.

예를 들어, 트레이더를 위한 Copilot을 구축할 때 에이전트는 금융 도메인 지식(예: '오늘의 익스포저'의 의미)과 기술적 데이터베이스 지식(예: 신뢰할 수 있는 테이블 정보)을 모두 갖춰야 한다. 이를 위해 관련 분야 전문가와 협력하여 명문화되지 않은 맥락을 에이전트에게 학습시켜야 한다.

인간의 개입은 에이전트의 각 구성 요소를 다음과 같이 개선한다.

• 워크플로우 설계(Workflow Design): LLM의 자율성에만 의존하기보다, 규제나 리스크 관리가 필요한 단계에는 **결정론적 코드(Deterministic Code)**를 사용하여 실행 순서를 엄격히 제어하고 검증 프로세스를 추가할 수 있다.
• 도구 설계(Tool Design): 에이전트가 사용할 도구의 이름, 파라미터, 설명을 최적화해야 한다. 유연성과 제어 사이의 트레이드오프를 고려하여, 비즈니스 제약 조건에 맞는 도구 세트를 구성하고 **평가(Evaluation)**를 통해 성능과 리스크를 검증해야 한다.
• 에이전트 컨텍스트(Agent Context): 단순한 시스템 프롬프트를 넘어, 실행 시작 단계부터 풍부한 맥락을 제공함으로써 에이전트의 정확도를 높여야 한다.