에이전트 기반 개발의 대규모 검증

소프트웨어 엔지니어링이 비동기(async) 방식으로 전환되면서, Devin과 같은 AI 에이전트가 생성하는 수많은 PR(Pull Request)을 검증하는 것이 핵심 과제로 떠오르고 있다. 최근 Cognition은 이벤트나 자동화에 의해 트리거되는 비동기적 에이전트 작업이 급증함에 따라, 에이전트가 작성한 코드가 실제로 작동하는지 증명하는 기술에 집중하고 있다.

Devin은 클라우드 가상 머신(VM) 내에서 Computer Use 기능을 활용해 스스로 작업을 검증한다. 스크린샷 촬영, 마우스 이동, 클릭, 타이핑 등을 수행하며 마치 엔지니어가 직접 앱을 실행해 테스트하듯 동작한다. 이를 통해 여러 대의 Devin을 병렬로 실행하여 복잡한 변경 사항을 동시에 검증할 수 있으며, 이는 로컬 환경에서는 불가능한 대규모 스케일링을 가능하게 한다.

검증의 신뢰성을 높이기 위해 Devin은 테스트 모드에 진입할 때 먼저 소스 코드에 기반한 **테스트 계획(Test Plan)**을 작성한다. 이는 모델이 존재하지 않는 경로를 가정하거나 엉뚱한 부분을 테스트하는 오류를 방지하며, 여러 서비스가 연동된 복잡한 환경에서도 정확한 설정을 통해 목표한 기능을 성공적으로 검증하도록 돕는다.