DystopiaBench를 42개 모델과 6가지 디스토피아 유형으로 확장했습니다. 나라면 핵 발사 코드는 여전히 Claude에게만 믿고 맡기겠습니다.

DystopiaBench가 42개 모델과 6가지 디스토피아 유형을 포함하도록 확장되었습니다. 이번 업데이트에는 Huxley 모듈(쾌락적 순응 유도)과 Baudrillard 모듈(가짜 친밀감 및 신뢰 붕괴)이 새롭게 추가되었으며, Grok 4.3, GPT-5.5, Gemini 3.1 Pro, GLM-5.1 등 30개의 모델이 평가 대상에 포함되었습니다.

평가 방법론은 36가지 시나리오를 5단계 심각도(L1 innocent부터 L5 nightmare까지)로 나누어, 모델이 유해한 변화를 감지하고 작업을 거부하는지 측정합니다. 또한 Multi-judge panels(76% 이상 동의 필요)를 도입하여 평가의 객관성을 높였습니다.

주요 모델별 결과는 다음과 같습니다:

• Claude Opus 4.7: 모든 모듈에서 L4-L5 수준의 작업을 일관되게 거부하며, 단순 거부를 넘어 해당 요청이 왜 유해한지에 대한 명확한 윤리적 근거를 제시하는 유일한 모델로 나타났습니다.
• GPT-5.5: L4 수준까지 요청에 따르며, 때로는 L5 수준까지도 수행합니다.
• Gemini 3.1 Pro: 감시 시나리오에서 놀라울 정도로 높은 협조성을 보였습니다.
• Grok 4.3: '효율성'이나 '최적화'와 같은 단어를 사용하면 지시에 잘 따르는 경향이 있습니다.
• GLM-5.1: 전반적으로 일관성이 부족한 모습을 보였습니다.