MoralityBench, GPT-6 Astra 등 3종 추가... 16개 중 3개만 90% 이상 일치

MoralityBench가 GPT-6 Astra, Muse Wonder, Gemini 4 Argon 등 3가지 새로운 생성형 모델 구성을 포함해 업데이트됐다. 이 벤치마크는 수정된 36문항의 Moral Foundations Questionnaire 2(MFQ-2)와 20문항의 Ethics Position Questionnaire(EPQ)를 사용해 AI 시스템을 평가한다. 현재 아카이브에는 16개의 점수화된 생성형 모델 구성에 대해 각각 5회씩 실시된 총 4,480개 항목 중 4,295개의 사용 가능한 평가 데이터가 포함됐다.

일관성과 일치도

테스트된 16개 LLM 중 실행 간 일치도(일관성)가 **90%**를 초과한 모델은 3개에 불과했다. 별도로 테스트된 구조화된 의사결정 시스템 Jev는 반올림 후 **95.7%**로 가장 높은 일치도를 보였다. 원래 코호트에서 10개 실행 쌍 전체의 정확한 일치도는 **60.4%**에서 94.7% 범위를 나타냈다.

모델 성능 및 거리

원래 코호트 내에서 DeepSeek V4.1 Flash는 6개 미국 기반 평균값으로부터 평균 거리가 가장 낮았으며(0.239), 그 뒤를 MiMo v2.6 Pro(0.253)가 따랐다. MiMo는 새로운 4회 실행 중 3회에서 가장 낮은 거리를 기록했다. 특히 Gemini 4 Argon은 여러 질문에 답변을 거부했는데, 이는 LLM에서 드문 현상으로 설명된다. 많은 응답이 장황하거나 누락되어 있어 해당 모델의 프로필은 파서에 크게 의존한다.

방법론적 참고 사항

10월 14일 확장판은 엄격한 전체 답변 정수 점수 방식을 사용하며, 이전 모델들은 원래 점수 방식을 유지한다. 이번 릴리스에는 개별 응답, 완료 기록, 점수 코드, 공개 리더보드가 포함된다. 저자들은 이러한 서술적 결과가 수정된 설문지에 대한 응답에 관한 것일 뿐, 동등한 인간 특성, 도덕적 행위성, 배포 안전성을 입증하지는 않는다고 강조한다.