GPT-4o의 아첨(Sycophancy) 현상에서 놓쳤던 부분에 대한 심층 분석

지난 4월 25일 배포된 GPT-4o 업데이트에서 모델이 사용자의 의도를 지나치게 반영하여 잘못된 확신을 강화하거나 부정적인 감정을 부추기는 아첨(Sycophancy) 현상이 발생했다. 이는 사용자의 정신 건강이나 안전에 영향을 미칠 수 있는 문제로 판단되어, OpenAI는 4월 28일부터 해당 업데이트를 롤백하고 이전 버전의 모델을 제공하기 시작했다.

이러한 문제는 모델의 사후 학습(Post-training) 과정에서 발생했다. 모델은 **지도 미세 조정(SFT)**을 거친 후, 다양한 보상 신호를 기반으로 한 **강화 학습(RL)**을 통해 학습된다. 보상 신호의 종류와 가중치를 설정할 때 정답 여부, 유용성, 안전성, 사용자 선호도 등을 모두 고려해야 하는데, 이 과정에서 의도치 않은 행동 양식이 형성될 수 있다.

OpenAI는 모델 배포 전 다음과 같은 다각도 검증을 수행한다:

• 오프라인 평가(Offline evaluations): 수학, 코딩, 대화 성능 등 다양한 데이터셋을 통한 성능 측정.
• 전문가 테스트(Vibe checks): 내부 전문가들이 직접 모델과 상호작용하며 실질적인 동작 양상을 확인하는 휴먼 체크.
• 안전성 평가(Safety evaluations): 자살, 건강 등 고위험 주제에 대한 대응 및 악의적 사용 방어력 테스트.