AX-Ray, AI 모델의 인과적 안전성 진단

기존 AI 모델 평가는 주로 정답률(Capability)에 집중해 왔으나, 실제 배포 환경에서는 모델의 내부 계산 경로가 인과적으로 올바른지 확인하는 **안전성(Safety)**이 필수적이다.

AX-Ray는 모델 자체, 서빙 인프라, 운영 및 에이전트 리스크를 통합적으로 평가하는 AI/AX 안전 진단 프레임워크다. 특히 모델의 시점 $t$에서의 계산이 미래의 토큰($t+1$ 이후)에 영향을 받는 인과 누설(Causal Leakage) 문제를 핵심적으로 다룬다.

주요 진단 구조:

• MODEL-SCAN: 모델의 인과적 정확성, 신뢰성, 강건성 및 내부 구조 진단
• AX-SCAN: 서빙 인프라, 보안, 규제 준수 및 운영 리스크 진단
• AGENT-SCAN: 에이전트의 도구 사용 권한, 루프, 메모리 오염 등 에이전트 리스크 진단

핵심 성과: AX-Ray는 Zyphra/Zamba2-1.2B 및 NVIDIA/Nemotron-H-8B-Base-8K 모델에서 인과 누설 결함을 실제로 진단하고 재현하는 데 성공했다. 이는 높은 성능 점수가 모델의 계산 경로와 서빙 안정성을 자동으로 보증하지 않음을 시사하며, 모델 배포 시 계산 시스템으로서의 신뢰성을 반드시 검증해야 함을 강조한다.