알고리즘 채용에서의 AI 자기선호: 실증 증거와 시사점

대규모 채용 이력서 선별에서 LLM 자기선호(self-preference) 편향을 실증했다.

• 인간 작성 이력서 2,245개를 바탕으로, GPT-4o, GPT-4o-mini, GPT-4-turbo, LLaMA 3.3-70B, Mistral-7B, Qwen 2.5-72B, DeepSeek-V3의 반사실적 이력서를 생성해 비교했다.
• 같은 후보자의 자격·경력은 유지하고 표현 방식만 바꾼 뒤, 평가 LLM이 두 이력서 중 더 강한 쪽을 고르게 하는 쌍대 비교로 편향을 측정했다.
• 대부분의 모델에서 LLM-vs-Human 자기선호가 강하게 나타났고, 인간 작성 이력서 대비 편향은 67%~82% 범위였다.
• LLM-vs-LLM 비교에서도 모델별 차이가 컸다. DeepSeek-V3는 LLaMA 3.3-70B 대비 자기 출력물을 69%, GPT-4o 대비 28% 더 선호했다.
• 24개 직업군 채용 파이프라인 시뮬레이션에서는, 평가에 쓰인 LLM과 같은 LLM으로 작성한 지원자가 동등한 인간 작성 이력서보다 최종 후보에 오를 확률이 23%~60% 높았다.
• 편향의 일부는 내용 품질 차이로 설명될 수 있지만, 시스템 프롬프팅과 다수결 앙상블로 **17%~63%**까지 완화할 수 있었다.

결론적으로, AI 기반 채용 공정성은 보호 속성만이 아니라 어떤 모델이 이력서를 만들고 어떤 모델이 평가하는지까지 포함해 설계해야 한다.