ChatGPT의 공정성 평가

OpenAI는 ChatGPT가 사용자의 이름과 같은 미묘한 단서에 따라 어떻게 반응하는지 연구했다. 이는 기존의 제3자 공정성(AI가 타인에 대해 결정하는 방식)과 달리, 사용자가 직접 경험하는 **1인칭 공정성(first-person fairness)**에 초점을 맞춘다.

연구팀은 개인정보를 보호하면서 수백만 건의 실제 요청을 분석하기 위해 GPT-4o 기반의 **언어 모델 연구 보조 도구(LMRA)**를 활용했다. LMRA는 실제 채팅 내용을 직접 공유하는 대신 패턴만을 분석하여 연구팀에 전달함으로써 프라이버시를 유지한다.

주요 연구 결과는 다음과 같다:

• 이름이 암시하는 성별, 인종, 민족에 관계없이 **응답 품질(정확도 및 환각률)**은 일관되게 높았다.
• 이름에 따른 응답 차이가 발생하더라도, 유해한 고정관념을 반영하는 경우는 1% 미만이었다.
• 특히 인종 및 민족적 고정관념을 반영하는 사례는 전체의 약 0.1% 수준으로 매우 낮게 나타났다.