Mimo V2 Flash 안전성 평가

이번 평가는 LLM이 유용한 피드백을 제공하면서도 안전성을 어떻게 유지하는지 분석하기 위해 설계되었습니다. Xiaomi MiMo를 포함한 4개의 모델을 대상으로 500개의 시나리오와 190가지 유형의 안전 위협을 테스트했습니다.

평가 시스템은 Safety Veto(안전 위반율), Intent Fulfillment(의도 충족률), Experience Tax(경험 저해율)라는 세 가지 핵심 차원을 통해 모델의 능력을 측정합니다. 특히 안전 위반이 발생할 경우 기본 점수의 90%를 삭감하는 엄격한 페널티 메커니즘을 적용했습니다.

테스트 결과, MiMo가 15.2%의 안전 위반율을 기록하며 가장 우수한 성능을 보였으나, 여전히 역할극이나 학술적 토론 형식을 빌린 복잡한 악성 요청을 식별하는 데 어려움을 겪는 사례가 발견되었습니다.