EnvHarness, 정적 환경 재구성

Google Cloud AI Research, 워싱턴대학교 세인트루이스, UNC 채플힐 연구진이 LLM 에이전트 학습용 정적 벤치마크 환경을 내부 코드 수정 없이 감싸서 특정 약점을 겨냥한 학습 환경으로 바꾸는 EnvHarness를 제안했다.

기존 환경 생성의 한계

기존 자동 환경 생성 파이프라인은 도메인 특화적이라 웹, 프로그래밍, 도구 사용 등 분야 간 이식이 불가능했다. 또한 LLM이 생성한 검증기의 정확성 보장이 어렵고, 생성된 도구의 로직 오류가 학습을 방해할 수 있다는 문제가 있었다.

EnvHarness의 작동 원리

EnvHarness는 에이전트 하네스(Agent Harness) 개념을 환경 쪽에 적용한 프로그래머블 계층이다. 원본 환경의 검증기는 그대로 보존하면서 상태, 행동, 관측 공간만 변환한다.

• Stage: 초기 상태를 조작해 특정 스킬을 요구하는 장애물을 심거나 과제 난이도를 조절한다.
• Contract: 행동 공간, 전이 역학, 관측 공간을 재정의해 상호작용 규칙을 변경한다.

성능 향상

4개 도메인 5개 벤치마크 실험에서 EnvHarness로 학습한 에이전트는 원본 환경 학습 대비 미학습 과제에서 최대 9.0 포인트 성능이 향상되고, 상호작용 스텝은 9.8% 감소했다. 강화학습에서도 더 강한 정책을 생성하며, 사람이 만든 환경과 생성된 환경 모두에서 성능이 지속 상승함을 입증했다.