Codex를 활용한 자가 개선형 세무 에이전트 구축

실제 운영 환경의 시스템은 실험실과 달리 예측하기 어려운 방식으로 오류를 일으킨다. 기존에는 엔지니어가 수동으로 피드백을 분석하고 프롬프트를 수정해야 했으나, Codex와 정교한 평가 인프라를 결합하면 에이전트가 스스로 성능을 개선하는 자가 개선형(self-improving) 시스템을 구축할 수 있다.

OpenAI와 Thrive Holdings는 Crete의 30개 이상의 회계 법인과 협력하여 Tax AI를 개발했다. 이 시스템은 Codex를 활용해 실제 사용 데이터를 구조화된 신호로 변환하고, 이를 통해 자율적인 성능 향상을 이끌어낸다.

Tax AI는 이번 시즌 동안 7,000건의 세무 신고서를 처리하며 1040 및 1041 신고서 작성을 자동화했다. 그 결과 다음과 같은 성과를 거두었다:

• 세무 준비 시간 약 1/3 단축
• 최대 **97%**의 정확도 달성
• 처리량(throughput) 약 50% 증가

정확도 측면에서도 비약적인 성장을 보였다. 출시 당시 75% 이상의 필드 완성도를 보인 신고서는 25%에 불과했으나, 6주 만에 **86%**로 급증했다.

이러한 자가 개선은 다음 세 가지 핵심 축을 통해 이루어진다:

• 전문가 피드백(Expert practitioner feedback)
• 프로덕션 트레이스(Production traces): 입력부터 최종 출력까지의 구조화된 이력
• Codex 기반 반복 루프(Codex-driven iteration loop): 맞춤형 평가를 통한 지속적 개발