wake-sleep 알고리즘 적용, 법적 에이전트 all-pass rate 15.7% 달성 및 비용 절감

연구 개요

Legal Agent Benchmark(LAB)를 활용해 장기 법적 에이전트에 wake-sleep 알고리즘 변형을 적용한 연구 결과가 발표됐다.

작동 방식

• Wake 단계: 에이전트가 온라인으로 작업을 수행한다.
• Sleep 단계: 오프라인에서 리뷰 모델이 재사용 가능한 교훈을 생성하고 에이전트 메모리에 병합한다.

성능 결과

Corporate M&A 및 Capital Markets 분야 196개 작업을 10회 반복 실행한 결과, wake-sleep 에이전트의 all-pass rate는 15.7%로, 메모리가 없는 기준 에이전트의 2.9%보다 크게 향상됐다. 또한 일반화 성능도 개선되어 기존 사안에서는 10% 이상, 신규 사안에서는 약 10% 더 많은 루브릭 기준을 통과했다.

효율성 최적화

작업 정밀도 향상으로 툴 호출이 약 2.5배 증가하며 비용과 지연 시간이 늘어난 문제를 해결하기 위해, Jev를 활용한 교훈 검색 기능을 도입했다. 이를 통해 관련 메모리만 컨텍스트에 주입하여 평균 품질은 유지하면서 작업당 비용을 절반으로 줄였다.