GitHub Copilot과 커밋 활동량 연구 결과

arXiv에 발표된 종단적 연구에 따르면, GitHub Copilot 도입 전후의 개발자 활동을 추적한 결과 커밋 기반 활동량에서 통계적으로 유의미한 변화가 발견되지 않았다.

반면, 설문 조사에서는 개발자들이 도구 사용 시 생산성이 향상되었다고 느끼는 주관적 경험은 일관되게 나타났다. 이러한 데이터와 체감 사이의 간극에 대해 두 가지 가능성이 제시된다.

• 커밋 빈도의 한계: 커밋 빈도가 생산성을 측정하는 잘못된 지표일 수 있다. 개발자들이 더 적은 횟수의 더 큰 단위 커밋을 통해 더 많은 결과물을 만들어낼 경우, 데이터상으로는 활동이 정체된 것처럼 보일 수 있다.
• 업무 경험의 질적 개선: 작업 속도가 빨라지고 노력이 덜 드는 등 업무의 흐름(fluidity)이 개선되었으나, 실제 산출물의 양은 동일할 수 있다.

이는 AI 도구 도입 시 측정 가능한 산출물 증가를 기대하며 구독을 결정하는 기업들에게 중요한 시사점을 준다. AI 도구의 효용이 정량적 수치(커밋 수)가 아닌 정성적 경험(업무 효율성)에 있을 수 있음을 시사하기 때문이다.