AI 토큰 사용량 1위 개발자가 14만 8천 번의 대화에서 배운 것

53일 동안 148,000번 넘게 AI와 대화하며 얻은 결론은 분명하다. 성과 차이는 AI를 얼마나 많이 쓰느냐가 아니라, AI를 어떻게 일하게 하느냐에서 갈린다.

개발자의 역할은 코드를 직접 쓰는 사람에서 오케스트레이터로 옮겨가고 있다. 실제 작업의 중심도 구현보다 분해, 플래닝, 검증, 기록으로 이동했고, 이 구조가 결과물의 품질을 좌우했다.

사용 기록을 정량화하면 흐름이 더 선명해진다.

• 직접 시작한 세션 940개
• 파생된 서브에이전트 2,594개
• 직접 작성한 메시지 12,632개
• AI 생성 메시지 129,537개
• 도구 호출 177,590회
• 입력 1번에 AI가 약 10번 행동하는 위임 구조

AI 활용 수준도 5단계로 정리된다.

• Level 1: 질의응답
• Level 2: 코드 생성
• Level 3: 도구 연결
• Level 4: 오케스트레이션
• Level 5: 멀티에이전트 자율화

핵심은 Level 4에 있었다. 같은 Claude, 같은 GPT라도 어디에 쓰느냐에 따라 결과는 구조적으로 달라진다.

실제 작업은 6단계로 굴러갔다.

• Explore: 도메인 지식과 코드베이스를 충분히 탐색
• Plan: 아키텍처와 완료 조건을 명시
• Decompose: 병렬 가능한 단위로 쪼개고 에이전트를 배정
• Implement: 위임하고 병렬 실행
• Verify: 테스트, Playwright, API 호출로 검증
• Record: 의사결정과 지식을 축적

이 중 하나라도 빠지면 품질이 흔들렸다. 탐색 없이 구현하면 컨벤션을 놓치고, 플래닝 없이 시작하면 방향이 흔들리며, 검증 없이 끝내면 오류가 쌓였다.

AI의 실패도 무작위가 아니라 반복 패턴이었다. 관찰된 문제는 원인 축소, 가설 고착, 국소 최적화, 환경 맹점, 탐색 중단의 5가지로 정리된다. 결국 실패의 뿌리는 컨텍스트 품질에 있었고, 그래서 탐색을 더 깊고 넓게 가져가는 방식이 필요했다.

도구 호출을 분석한 결과 읽기:쓰기 = 10:1로 수렴했다. 빠른 생성보다 정확한 탐색이 먼저였고, 기존 코드 컨벤션, 비즈니스 규칙, 과거 의사결정, 최신 문서까지 함께 넣어야 재작업이 줄었다. 병렬 탐색과 고품질 컨텍스트 확보가 AI 협업의 성패를 가르는 기준이었다.