당신의 AI는 상사에게 거짓말하고 있을지도 모른다 (22분 분량)

Windsurf의 대시보드에는 PCW(percentage of code written by Windsurf)라는 지표가 있고, 저자는 이 수치가 실제 사용감과 너무 다르다고 느껴 직접 실험에 나섰다. 안내상으로는 **85~95%+**가 흔하다고 하지만 자신의 세션은 **98%**로 표시됐다.

처음에는 mitmproxy로 네트워크를 훑었지만, Windsurf가 protobuf를 많이 써서 해독이 어려웠다. 대신 웹 대시보드의 GetAnalytics 응답과 프런트엔드에 포함된 메시지 정의를 통해 user_bytes, codeium_bytes, total_bytes, percent_code_written을 확인했고, 계산식은 사실상 codeium_bytes / total_bytes였다. 예전 이름인 Codeium이 남은 codeium_bytes와 달리, 이 값은 커밋 시점만이 아니라 편집 중 코드 추가·삭제에 즉시 반응했고, 세션을 재시작하면 생성 이력을 잃어버렸다.

• 자동으로 붙는 닫는 괄호나 따옴표는 인간이 친 코드로 잘 잡히지 않았다.
• 사용자가 붙여넣은 코드는 user_bytes에 거의 반영되지 않았다.
• 컷/붙여넣기와 Cascade가 수행한 이동·복사 작업은 인간과 AI 기여를 심하게 왜곡했다.

그 결과 저자가 전부 쓴 코드인데도, 리팩터링과 이동 작업을 섞으면 세션 전체가 100% AI 생성처럼 집계될 수 있었다. 저자는 user_bytes에는 엄격하고 codeium_bytes에는 관대한 산정 방식 때문에 PCW가 실제 작업량을 보여주지 못한다고 결론냈다.