고블린은 어디서 왔나

GPT-5.1 출시 뒤 ChatGPT에서 고블린 언급은 175%, 그렘린 언급은 52% 늘었다. 처음엔 단순한 말투 편차처럼 보였지만, 세대가 바뀔수록 누적돼 별도 조사가 필요한 수준으로 커졌다.

GPT-5.4에선 사용자와 내부 모두가 더 큰 상승을 확인했고, 현상은 특히 Nerdy 성격에 몰려 있었다. 이 성격은 장난스럽고 재치 있는 표현을 장려하도록 설계됐는데, 그 과정에서 생물 관련 단어를 쓰는 답변에 과도한 보상이 걸렸다. 실제로 Nerdy는 ChatGPT 응답의 **2.5%**에 불과했지만 전체 고블린 언급의 **66.7%**를 차지했고, 점검한 데이터셋 중 **76.2%**에서 생물 관련 단어가 들어간 출력이 더 높은 점수를 받았다.

문제는 보상이 Nerdy 조건에만 머무르지 않았다는 점이다. RL에서 강화된 말투가 이후 SFT와 모델 생성 롤아웃으로 흘러가면서 같은 표현 습관이 다른 조건으로도 번졌다.

• 장난스러운 스타일이 보상됐다.
• 보상된 예시 일부에 생물 관련 단어가 포함됐다.
• 롤아웃에서 그 표현이 더 자주 나타났다.
• 해당 롤아웃이 SFT 데이터로 다시 쓰였다.
• 모델은 그 표현을 더 자연스럽게 반복하게 됐다.

GPT-5.5는 Nerdy 없이도 GPT-5.4보다 다시 한 번 증가를 보였고, SFT 데이터에서도 고블린, 그렘린뿐 아니라 라쿤, 트롤, 오우거, 비둘기 같은 다른 틱 단어가 다수 발견됐으며, 개구리는 대부분 정상 사용으로 판정됐다. OpenAI는 3월에 Nerdy 성격을 폐기하고 생물 관련 단어가 포함된 보상 신호와 학습 데이터를 걸러냈지만, GPT-5.5는 이미 학습을 시작한 뒤였다. Codex에서 테스트하던 직원들이 이 이상 징후를 바로 포착했고, OpenAI는 개발자 프롬프트 지시문으로 완화했으며, 이후 모델 행동을 더 빨리 감사하고 수정할 수 있는 도구도 강화했다.