사람: 점수 너머의 판단

AI 네이티브 채용 시리즈의 Part 3는 Part 2의 머신이 400여 명을 분류하고 맞춤 면접 가이드를 만든 뒤, 20명 이상의 면접관이 5일간 100명 넘는 후보자를 직접 만난 뒤의 이야기를 정리한다.

Functional Gate는 결과가 맞는지 걸러냈지만, 코드만으로는 누가 직접 사고해 만든 것인지, AI가 잘 만들어준 산출물인지 구분하기 어려웠다. 한 번의 제출물로는 재현성도 확인되지 않았고, Depth 점수 역시 코드와 문서의 흔적을 통해 사고를 추론할 뿐이었다.

머신은 후보자 코드에서 증거를 뽑아 질문지를 만들었다. 예를 들어 EnrollmentService.java의 이중 락 전략처럼 코드 조각을 근거로 왜 락을 둘로 나눴는지, 멀티 서버 배포에서도 동작하는지까지 묻고, 기대 답변 수준과 후속 질문을 붙였다.

점수 조합에 따라 면접 전략도 달라졌다.

• Ace/Craftsman: 높은 Base와 높은 Depth를 가진 후보자에게는 아키텍처의 한계와 경계를 밀어보는 질문을 던졌다.
• Hustler: 기능은 강하지만 사고가 얕을 수 있는 후보자에게는 설계 이유, 문서와 코드의 일치, 선택의 근거를 검증했다.
• Thinker: 빌드나 테스트는 약하지만 사고력이 높은 후보자에게는 실패 원인과 복구 능력, 이해의 깊이를 확인했다.

실제 면접에서는 예상과 다른 패턴이 나왔다. 기능 점수가 높은 사람이 오히려 깊은 이해를 보여주기도 했고, 품질 점수가 높아도 AI가 잘 만들어준 코드를 얕게 이해한 채 제출한 경우가 있었다. 반대로 점수가 낮게 나온 후보자 중에서도 동시성 제어의 한계와 샤딩 이후 형평성 문제까지 짚는 등, 경력자 수준의 사고를 보여준 사례가 있었다.

평가자도 보정이 필요했다. 스코어카드는 Git으로 관리했고, 면접관마다 관대함 편향이 달라 1인당 4~5건 이상을 맡겼으며, 점수와 코멘트의 온도를 비교해 캘리브레이션했다. 면접은 기술 30분과 사람 30분으로 나뉘었고, 신입에게는 학습과 적응 태도, AI와의 협업 방식, 비판적 수용과 자기 판단을 중점적으로 물었다.

결론은 분명하다. 코드는 의도의 그림자일 뿐이라서, 왜 그런 설계를 했는지는 설계 문서와 사람의 대화에서 드러난다. 최근 말하는 Context Engineering처럼, 명시된 문맥과 설계 문서가 휘발성 프롬프트보다 더 일관된 결과를 만든다. AI가 더 많은 일을 대신할수록, 사람은 도구가 아니라 판단이 필요한 문제에 집중하게 되고, 채용도 점수보다 문맥과 의도를 읽는 방향으로 바뀌어야 한다.