Google·NBER, AI가 주니어 전문성 키우지 못한다고 발표

Google Research와 NBER이 공동 진행한 3개월 현장 실험에서 AI 도구가 특허 초안 작성 품질은 높였으나, 주니어 변호사의 AI 없는 판단력 향상에는 기여하지 못한 것으로 나타났다. MIT 경제학자 David Autor와 Google 연구팀이 참여한 이번 연구는 미국 로펌 11곳의 특허 변호사 133명을 대상으로 진행되었다.

실험 설계 및 도구

실험은 2025년 5월부터 2026년 2월까지 3개월간 진행되었으며, 처치군 90명은 Google Labs의 미공개 글쓰기 도구 InFlow(Gemini 2.5 Pro 기반)를 사용했다. 대조군 43명은 기존 법률 도구를 사용했다. 평가는 10일 차와 90일 차의 특허 초안 작성 능력과, AI 사용을 금지한 90일 차 오류 검토(Redlining) 능력을 포함했다.

주요 결과: 품질 향상 vs 실력 정체

• 초안 품질: AI 사용군은 전체적으로 10일 차 0.34 SD, 90일 차 0.38 SD의 품질 향상을 보였다. 특히 주니어 변호사는 90일 차에 0.60 SD 상승하며 시니어보다 큰 폭의 개선 효과를 보였다.
• AI 없는 판단력: AI 없이 수행한 검토 과제에서 시니어는 0.45 SD의 유의미한 실력 향상을 보인 반면, 주니어는 -0.03 SD로 변화가 거의 없었다. 이는 AI가 시니어의 기존 전문성을 보완하는 데는 효과적이지만, 주니어의 기초 역량 축적에는 도움이 되지 않음을 시사한다.
• 작업 시간: 주니어는 AI 사용으로 평균 18분 단축되었으나, 이는 AI 없는 실력 향상으로 이어지지 않았다.

연구의 한계 및 시사점

연구팀은 Google의 자금 지원과 이해관계 충돌, 짧은 실험 기간(3개월), 표본 크기 부족(검토 과제 완료 91명) 등을 한계로 명시했다. 또한 사전 등록 계획과 실제 보고 내용 간 일부 불일치가 존재한다. 저자들은 AI 출력의 해석과 검증이 필요한 업무는 실력을 향상시키지만, 출력을 그대로 수용하는 업무는 학습 기회를 박탈할 수 있다고 분석했다. 따라서 사내 AI 도구 도입 시 에이전트 사용 상태의 처리량뿐 아니라, AI 없이 수행하는 코드 리뷰나 장애 분석 능력을 별도로 평가해야 한다고 제언했다.