요기요, AI 코딩 시대 '검증'이 새로운 병목... 자동화 파이프라인 구축 사례 공개

요기요 기술블로그는 AI가 코드를 작성하는 환경에서 개발자의 병목이 '코드 작성'에서 '검증'으로 이동했음을 강조한다. Product Engineer 파일럿 프로젝트인 신규 게임 서비스 '요기월드'와 iOS·Android 앱의 '주문상세 빅사이즈 광고' 사례를 통해, AI의 빠른 코드 생성 이후 사람이 반드시 수행해야 하는 검증의 중요성을 논한다.

요기월드: 검증 자동화 파이프라인 구축

요기월드 개발에서는 두 달 반 동안 PR 240여 건을 머지하며 품질을 유지하기 위해 검증 파이프라인을 자동화했다. 프론트엔드 단위 테스트 약 1,100개, 백엔드 단위 테스트 약 200개, 통합 테스트 약 150개, E2E 테스트 36개를 CI 게이트로 구성했다. 특히 시각 회귀 테스트는 기준 이미지를 저장하지 않고, PR마다 변경 전후 코드를 같은 러너에서 렌더링해 픽셀 차이를 비교하는 방식을 채택해 환경 차이에 의한 노이즈를 줄였다.

개발 사이클은 방향을 합의하는 'develop' 단계와 구현된 브랜치를 배포까지 진행하는 'ship' 단계로 나뉜다. 사람은 방향 합의와 최종 의도 확인만 담당하며, 탐색, 구현, 리뷰, 배포는 파이프라인이 수행한다. 이 파이프라인을 통해 7월 2일 정식 출시된 요기월드는 9월 21일까지 누적 4만 8천 판 이상의 플레이를 기록했다.

빅사이즈 광고: 낯선 플랫폼에서의 검증

네이티브 앱 코드 수정이 필요한 광고 프로젝트에서는 빌드, 실행, 화면 측정, 수정을 하나의 루프로 연결하는 MCP(Model Context Protocol) 기반 자동화를 활용했다. 서두에 언급된 '10초마다 광고가 새로고침되는 버그'는 AI가 제안한 수정안만으로는 확신할 수 없었으나, 재현 경로를 파일과 줄 번호 단위로 확정하고 시뮬레이터에서 증상을 직접 확인함으로써 해결했다. 또한 광고 로드 파이프라인에 로그를 삽입해 요청 횟수를 세는 방식으로 중복 요청 버그를 찾아냈다.

결론: 검증 방법의 설계가 핵심 역량

AI가 코드를 빠르게 작성할수록 잘못된 수정도 빠르게 반복될 수 있다. 따라서 사람이 맡아야 할 일은 방향 합의, 범위 제한, 그리고 우회가 반복될 때 전제를 의심하는 판단이다. 요기요는 이러한 경험을 바탕으로 실제 앱 네트워크 세션을 녹화해 재생하는 'RECORDYO'와 같은 검증 도구를 개발하고, 시각 회귀 테스트 엔진을 다른 레포로 이식하는 작업을 진행 중이다. AI 시대 Product Engineer의 역할은 더 많은 코드를 쓰는 것이 아니라, 배포의 확신을 주는 검증 방법을 설계하는 것으로 정의된다.