Sentient Foundation, LLM 지문 벤치마크 공개

Sentient Foundation이 대형 언어모델(LLM)에 식별 서명을 삽입하는 다양한 방법을 비교하기 위한 오픈 벤치마크 Fingerprinting Leaderboard를 공개했다. 이 서명은 시크릿 쿼리-응답 쌍 등으로 구성되며, 모델이 복제되거나 수정된 후에도 출처를 검증할 수 있게 한다.

벤치마크는 다음 세 가지 핵심 차원을 평가한다:

• Robustness: 지문 제거 시도나 회피 기법에 대한 내구성 측정
• Model utility: 지문 삽입 후 모델의 원래 성능 보존 정도 평가
• Verification: 출처 확인의 정확성 평가

이번 이니셔티브는 fine-tuning, distillation, 그리고 의도적인 공격을 통한 지문의 생존율을 실증적으로 테스트하여, 모델 출처 추적의 내구성을 보장하기 위한 트레이드오프를 분석하는 것을 목표로 한다.