AI 보조 코딩에 대해 틀리는 열두 가지 방식

AI 코딩 어시스턴트의 가치를 측정하는 현재 방식들은 체계적으로 잘못된 결론을 만들어낸다. 코드 줄 수, 커밋 수, 티켓 수 같은 활동량 지표는 목표가 되는 순간 쉽게 조작되며 품질을 보장하지 못한다. 제안 수락률과 도입률은 도구가 그럴듯해 보이거나 배포됐다는 신호일 뿐, 정확성·보안성·유지보수성과는 무관하다.

실험 설계의 4가지 근본 결함:

• 장난감 과제 시간 측정: GitHub Copilot 연구는 90분 HTTP 서버 구현에서 55% 속도 향상을 보고했지만, 실제 개발은 레거시 코드베이스 탐색·모호한 요구사항·팀 조율을 포함한다. 반대로 숙련 개발자 대상 무작위 대조 시험에서는 AI 도구 사용 시 완료 시간이 19% 증가했다
• 통제군 없는 전후 비교: 같은 기간에 인력 충원, CI 리팩터링, 인프라 변경이 동시에 일어나면 LLM 효과를 분리할 수 없다
• 자발적 사용자 vs 비사용자 비교: 초기 도입자는 원래 실험 의지가 강하고 이미 고성과자일 가능성이 크다. 대형 IT 조직 2년 추적 결과, 사용자는 도구 도입 전부터 이미 더 활동적이었다
• 약한 기준선(AI vs 아무것도 없음): 실제 개발자는 문서, 동료, 사고 시간을 활용한다. 중요한 질문은 LLM이 기존 대안보다 나은지 여부다

측정 범위의 치명적 누락:

LLM은 코드 생성을 빠르게 만들지만(쉬운 절반), 리뷰 시간·디버깅 비용·보안 취약점·기술 부채는 측정되지 않는다(어려운 절반). GitHub Copilot 생성 코드의 상당 부분에 보안 취약점이 있었고, 시간 압박 시 안전하지 않은 제안 수락률이 증가했다. 2025년 주요 LLM 5개 평가에서는 어느 모델도 산업 보안 표준을 충족하는 웹 애플리케이션 코드를 만들지 못했다.

AI 생성 커밋 30만 개 이상을 분석한 결과, 15% 이상이 최소 하나의 품질 문제를 도입했고 그중 4분의 1은 코드베이스에 장기적으로 남았다. Cursor 도입 807개 오픈소스 저장소 분석에서는 도입 후 개발 속도가 일시적으로 증가했지만, 코드 복잡도와 정적 분석 경고는 지속적으로 증가했다.

시스템 수준 병목 무시:

개인 코딩 속도가 30% 향상돼도 팀의 티켓-프로덕션 리드타임이 불변이라면 병목은 코드 작성이 아니었다. 실증 연구에서 AI 도구는 주니어 산출을 늘렸지만, 시니어 개발자는 AI 생성 코드 리뷰 부하가 6.5% 증가하면서 자신의 생산성이 19% 하락했다.

시간 왜곡과 신기효과:

"개발자의 87%가 더 생산적"이라는 자기보고는 Hawthorne 효과, 신기효과, 사회적 바람직성 편향으로 오염된다. 4주 연구는 4주 효과만 보여주며, 기술 퇴화·기술 부채·협업 변화는 장기 관찰이 필요하다.

결론:

생산성은 단일 숫자로 환원할 수 없다. 통제군, 현실적 기준선, 선택 편향 통제, 장기 관찰, 시스템 수준 지표 없이는 AI 도구 효과와 다른 변화를 구분할 수 없다. 소프트웨어 공학은 인간과학의 연구 방법론을 더 진지하게 받아들여야 한다.

작성자는 Software Carpentry 창립자 중 한 명이며, METR 후속 연구는 개발자들이 AI 없이 일하기를 거부하면서 선택 편향으로 사실상 실패했다.