RL 환경만 있으면 된다

RL 환경은 AI 에이전트에 필요한 새로운 형태의 데이터다. 기존 딥러닝이 큐레이션한 데이터를 사용해 모델을 학습하고 테스트했다면, 에이전트는 환경 안에서 행동하고 결과를 평가하며 능력을 키운다. 이때 ‘RL’이라는 명칭은 관습적일 뿐, 반드시 강화학습을 사용해야 하는 것은 아니다.

딥러닝의 발전은 사람이 규칙과 휴리스틱을 직접 작성하던 방식에서 벗어나, 데이터와 컴퓨트 규모를 키워 모델이 문제를 학습하도록 만든 데서 비롯됐다. 에이전트 분야에도 같은 원리를 적용하려면 에이전트가 무엇인지 정의하고, 컴퓨트를 활용해 각 구성 요소를 업데이트할 방법이 필요하다.

에이전트는 기본적으로 LLM, 시스템 프롬프트, 그리고 도구 사용과 실행을 담당하는 harness의 결합이다. 이 세 요소는 각각 컴퓨트와 환경을 활용해 개선할 수 있다.

• LLM: RL, SFT, midtraining을 통해 환경에서 생성한 궤적(trajectory)으로 가중치를 업데이트한다.
• 시스템 프롬프트: GEPA, autoresearch, 진화 알고리즘 등을 사용해 성능이 가장 좋은 프롬프트를 탐색한다.
• Harness: 현재는 주로 수작업으로 개선하지만, 장기적으로는 소프트웨어 자체를 자동으로 생성·최적화하는 방식으로 발전할 수 있다.

프롬프트나 harness를 최적화하려면 에이전트의 성능을 체계적으로 측정할 수 있는 환경과 점수 함수가 필요하다. 또한 모델 학습처럼 train/test 분할을 구성해 최적화 데이터에 과적합되지 않고 새로운 작업에도 일반화하는지 확인해야 한다.

결국 에이전트 개발에서 가장 중요한 기반은 좋은 RL 환경을 구축하는 것이다. 환경이 갖춰져야 모델 가중치, 시스템 프롬프트, 실행 harness 모두에 컴퓨트를 투입해 반복적으로 개선할 수 있다.