AI 모델 리스크 평가 표준 RiskRubric.ai

Hugging Face 허브에 존재하는 수많은 모델 중 보안과 안전성이 검증된 모델을 선택하기 어렵다는 문제를 해결하기 위해 RiskRubric.ai가 공개되었다. Cloud Security Alliance와 Noma Security가 주도하는 이 이니셔티브는 AI 모델의 리스크를 표준화된 방식으로 평가한다.

RiskRubric.ai는 모델을 투명성, 신뢰성, 보안, 프라이버시, 안전성, 평판의 6가지 핵심 축을 기준으로 평가한다. Noma Security의 자동화 기술을 활용하여 다음과 같은 검증을 수행한다:

• 1,000개 이상의 신뢰성 테스트: 모델의 일관성 및 예외 상황 처리 능력 확인
• 200개 이상의 적대적 보안 프로브: 탈옥(Jailbreak) 및 프롬프트 인젝션 테스트
• 자동화된 코드 스캐닝 및 문서 검토: 모델 구성 요소 및 학습 데이터 검증
• 프라이버시 및 안전성 평가: 데이터 유출 테스트 및 유해 콘텐츠 생성 테스트

평가 결과는 각 항목별 0-100점으로 산출되며, 최종적으로 A-F 등급으로 제공된다. 개발자는 이를 통해 특정 용도(예: 의료용 프라이버시 강화 모델)에 맞는 모델을 필터링하여 선택할 수 있다.

초기 분석에 따르면, 많은 오픈 소스 모델이 투명성 측면에서 폐쇄형 모델보다 높은 점수를 기록했다. 다만, 중간 점수대(C/D 등급) 모델들은 보안 격차가 존재할 수 있으므로, 기업은 모델 배포 전 최소 점수 기준(예: 75점)을 설정하는 것이 권장된다.