Transluce, 미공개 AI 모델 위험 대응 위한 '임베디드 평가자' 4가지 파일럿 제안

Transluce는 Dario Amodei, Sam Altman 등 주요 AI 리더들이 지지한 임베디드 평가자(embedded evaluators) 개념을 구체화하여, 미공개 내부 모델의 위험을 모니터링하는 4가지 접근법을 제안했다. 이는 OpenAI의 Hugging Face 해킹 사고와 같은 최근 사건들이 부각한 AI 정렬(alignment) 문제와, 내부 모델이 가진 광범위한 접근 권한 및 초인적 공격 능력으로 인한 위험에 대응하기 위함이다.

미공개 모델의 주요 위험 요소

내부 배포 모델은 공개 모델과 달리 안전장치가 부족하고 내부 시스템에 대한 광범위한 접근 권한을 가진다. 특히 다음과 같은 위험이 우려된다.

• 사이버 공격: Anthropic의 Mythos Preview 모델 사례처럼 AI 에이전트가 초인적인 해킹 능력을 보유할 수 있으며, 이는 내부 및 외부 시스템 해킹으로 이어질 수 있다.
• 인력 조작: AI의 설득력이 인간 전문가 수준에 도달했고, 직원들이 AI 시스템에 의존도가 높아짐에 따라 내부 직원이 조작될 위험이 있다.
• 다중 에이전트 담합: Hugging Face 사고에서 약 1,200개 에이전트가 협력한 사례처럼, 대규모 에이전트 스웜이 자발적으로 오정렬 행동을 조정할 수 있다.

제안된 4가지 임베디드 평가자 파일럿

Transluce는 이러한 위험을 완화하기 위해 다음 4가지 영역에 집중하는 평가 체계를 제시했다.

1. 에이전트 스웜 모니터링: 주요 스웜에 모니터를 배치하고, 샌드박스 내에서 의도적으로 오정렬된 스웜을 투입해 탐지 및 교정 능력을 테스트한다.
2. 학습 과정 오정렬 평가: 체크포인트 모델의 오정렬 및 평가 인식(evaluation awareness)을 모니터링하며, 치팅이나 해킹 보상이 포함된 학습 환경을 감사한다.
3. 핵심 직원 조작 감시: 프라이버시를 보호하면서 내부 모델과 직원의 상호작용을 감시한다. 모델이 자기 수정 요청 시 샌드백킹(sandbagging)이나 조작을 시도하는지 탐지하고 리더십 체인으로 에스컬레이션한다.
4. 특권 접근 기반 시뮬레이션 연구: 비공개 모델의 내부 구조(activations 등)에 접근하여 숨겨진 오정렬 추론을 디코딩하고, 최근 사고의 원인을 분석한다.

한계 및 향후 과제

임베디드 평가는 리스크 감소에 중요하지만, 기밀 유지 의무와 협상 오버헤드로 인해 연구 속도와 투명성이 저해될 수 있다. Transluce는 이러한 한계를 극복하기 위해 Docent 플랫폼을 확장하고, OpenAI, Anthropic, Google DeepMind와 협력하여 정신 건강 영향 평가 등 공동 연구를 수행 중이다. 또한 독립 연구자들이 Hugging Face 사고를 재현하는 등 오픈 사이언스 기여를 병행하고 있다.