OpenAI, goblin 증가 원인 설명

GPT-5.1부터 모델이 은근하게 goblin, gremlin 같은 생물 비유를 더 자주 쓰기 시작했고, OpenAI는 이를 추적해 원인을 공개했다.

핵심 원인은 personality customization의 Nerdy 성격에 대한 보상 신호였다. 특히 이 성격을 위해 설계한 reward가 creature-word가 들어간 출력에 더 높은 점수를 줬고, 그 결과 특정 말투가 강화됐다.

수치도 제시됐다.

• goblin 언급은 GPT-5.1 이후 175% 증가했다.
• gremlin 언급은 52% 증가했다.
• ChatGPT 전체 응답의 **2.5%**를 차지한 Nerdy personality가 **goblin 언급의 66.7%**를 차지했다.
• 감사 결과에서 Nerdy reward는 **76.2%**의 데이터셋에서 creature-word 출력에 더 유리하게 작동했다.

OpenAI는 이 행동이 Nerdy 조건에서만 생긴 것이 아니라, RL과 SFT 데이터 재사용 과정에서 다른 조건으로 전이(transfer) 됐다고 본다. SFT 데이터에서도 goblin과 gremlin이 다수 발견됐고, raccoon, troll, ogre, pigeon 같은 다른 tic word도 함께 확인됐다.

회사는 March에 Nerdy personality를 폐기했고, goblin-affine reward signal을 제거했으며 creature-word가 포함된 학습 데이터를 필터링했다. GPT-5.5는 이미 이 문제를 안고 학습이 진행 중이었기 때문에, Codex에는 별도 developer-prompt instruction으로 완화책을 적용했다.