REPL 기반 검증을 통한 Agent 3의 대규모 셀프 테스트 구현

AI 에이전트가 요청받은 기능이 겉보기에는 멀쩡해 보이지만, 실제로는 이벤트 핸들러가 없거나 데이터가 모킹된 상태인 **'포템킨 인터페이스(Potemkin interfaces)'**를 생성하는 문제가 발생하고 있다. 이러한 오류는 초기에는 발견하기 어렵지만, 잘못된 토대 위에 기능이 쌓이면서 오류가 누적되는 위험이 있다.

Replit은 이를 해결하기 위해 코드 실행과 브라우저 자동화를 결합한 새로운 REPL 기반 검증 시스템을 구축했다. 이 시스템은 에이전트가 스스로 자신의 결과물을 검증하도록 함으로써, Agent 3가 200분 이상 자율적으로 작업할 수 있도록 지원한다.

이는 소프트웨어 테스트의 '시프트 레프트(Shift-left)' 개념을 에이전트 개발에 적용한 것이다. 기존의 LSP(구문 검사)나 유닛 테스트, API 테스트만으로는 클라이언트와 서버 간의 복잡한 상태 조율을 완벽히 검증하기 어렵다. Replit은 에이전트가 더 이른 단계에서 스스로 오류를 발견하고 수정할 수 있는 메커니즘을 제공함으로써 자율성을 극대화했다.