프롬프트 인젝션 분석으로 OpenRouter의 익명 모델 'OX Alpha'가 Z.ai의 GLM으로 확인

OpenRouter에서 정체불명의 LLM인 'OX Alpha'가 등장해 리더보드 상위권에 오르며 구글의 Gemini 모델이 아니냐는 추측이 제기되었으나, 분석 결과 Z.ai의 GLM 모델로 확인되었다.

분석가는 프롬프트 인젝션 기법을 사용해 모델의 시스템 프롬프트를 추출했다. 해당 프롬프트에는 모델이 'ox-alpha'이며 개발 조직은 비공개라고 주장하도록 강제하는 지시문이 포함되어 있었으나, 이를 우회하여 실제 정체성을 파악했다.

추가로 Auxy를 통해 수행한 파라메트릭 메모리 테스트와 양방향 사실 검증에서 이 모델은 약하거나 오래된 학습 데이터를 사용하는 것으로 나타났다. Gemini 모델에서는 찾기 어려운 수준의 명백한 사실 오류와 사실 혼동(fact conflation)이 다수 발견되어, 이는 Gemini가 아닌 GLM 기반 모델임을 뒷받침하는 근거가 되었다.