LLM 에이전트를 위한 RL 환경 분류 체계

모델 아키텍처와 사후 학습(Post-training) 레시피가 주목받고 있지만, 정작 에이전트가 무엇을 배우는지 결정하는 핵심 요소는 RL(Reinforcement Learning) 환경이다. 모델이 어떤 환경에서 연습하고, 어떻게 평가받으며, 어떤 도구를 사용하는지가 에이전트의 실질적인 능력을 좌우한다.

LLM 에이전트를 위한 RL 환경은 다섯 가지 핵심 요소의 집합 $E = {T, H, V, S, C}$로 정의할 수 있다.

• $T$ (Tasks): 에이전트가 해결해야 할 문제 세트
• $H$ (Harness): 모델 구동 인터페이스
• $V$ (Verifier): 검증기 및 보상 함수
• $S$ (State management): 상태 관리
• $C$ (Configuration): 환경 설정

특히 **작업(Task)**의 설계는 매우 중요하다. 작업은 단순 Q&A부터 멀티홉 검색, 코드 생성, 엔터프라이즈 워크플로우까지 구조적으로 다양하며, 에이전트가 수행해야 하는 행동의 수나 도구의 종류에 따라 요구되는 역량이 달라진다. 적절한 **작업 분포(Task Distribution)**를 설계하지 못하면 에이전트가 보상 함수를 악용(gaming)하거나, 실제 운영 환경의 불확실성에 대응하지 못하는 문제가 발생할 수 있다.

에이전트가 작업을 수행하며 생성하는 상태, 행동, 보상의 시퀀스를 **궤적(Trajectory)**이라 하며, 한 번의 실행 과정을 **에피소드(Episode)**라고 한다. 또한 도구 호출과 관찰 결과가 포함된 실행 로그는 **트레이스(Trace)**로 불린다.