에이전트를 위한 지속적 학습 (Continual Learning)

대부분의 프로덕션 에이전트는 가중치 업데이트가 불가능한 **폐쇄형 프론티어 모델(Closed frontier models)**을 기반으로 작동한다. 따라서 개발자는 모델 자체를 수정하는 대신, Harness-level 및 Context-level에서의 **지속적 학습(Continual Learning)**에 집중해야 한다.

이를 위해 Replit 팀은 두 가지 핵심 시스템을 구축했다.

• ViBench: 자연어 명세(Natural-language specs)를 바탕으로 앱 구축의 기능적 성공 여부를 평가한다.
• Telescope: 프로덕션 환경에서 발생하는 실패 트레이스(Failure traces)를 분석하여 실행 가능한 이슈 그룹으로 클러스터링하는 자동화 시스템이다.