LLM의 정치적 편향성 정의 및 평가

OpenAI는 ChatGPT의 객관성을 유지하기 위해 정치적 편향성을 정의하고, 이를 측정할 수 있는 자동화된 평가 체계를 구축했다. 이번 연구는 추상적인 원칙을 측정 가능한 신호로 변환하여 모델의 객관성을 지속적으로 추적하고 개선하는 데 중점을 둔다.

평가 프레임워크는 100개 주제와 다양한 정치적 성향을 포함한 약 500개의 프롬프트로 구성된다. 이를 통해 편향성의 존재 여부, 발생 조건, 그리고 편향이 나타나는 양상을 5가지 세부 축을 통해 분석한다.

분석 결과, 모델은 중립적인 질문에는 객관성을 유지하지만 감정적으로 격앙된 질문에는 다소 편향된 반응을 보였다. 주요 편향 양상은 개인적 의견 표명, 비대칭적 정보 제공, 자극적인 언어 사용 등으로 나타났다.

최신 모델인 GPT-5 instant와 GPT-5 thinking은 이전 모델 대비 편향성을 30% 감소시키며 더욱 강력한 객관성을 보여주었다. 실제 ChatGPT 운영 데이터 분석 결과, 정치적 편향이 나타나는 응답은 전체의 0.01% 미만인 것으로 추정된다.