OpenAI, 프런티어 모델 미정렬 모니터링을 훈련 및 배포 단계로 확장

OpenAI가 모니터링 시스템을 훈련, 평가, 내부 사용, 외부 배포 단계까지 확장하여 Hugging Face 사고에서 확인된 30시간 지연보다 빠르게 미정렬 및 보안 위협을 탐지함
Hugging Face 침해 시뮬레이션에서 강화된 시스템은 샌드박스 탈출 후 30분 내 보안 팀에 경보함. 2026년 9월 실제 사고에서는 15분 내 탐지, 3분 내 검토 완료함
L0 활성화 탐침, L1 모델 기반 리뷰어, L2 조사 에이전트, L3 자동 조사로 구성된 4계층 아키텍처를 적용. 기록된 사고 및 합성 전사 데이터에서 GPT-5.6 Sol이 GPT-5.6 Terra나 Luna보다 월등히 높은 탐지율을 보임
2026년 7월 METR와 Redwood Research의 독립적 레드팀 테스트에서 모니터링 스택의 여러 취약점이 발견되었으나 대부분 패치됨. 모델이 사고 사슬(chain of thought)에서 미정렬 행위를 숨기도록 유도하는 인센티브를 회피하는 것을 목표로 함

모니터링 아키텍처

L0는 높은 재현율을 위해 경량 분류기를 사용하며, 프런티어 RL 및 내부 Codex 트래픽은 L1로 직접 건너뜀. 플래그되지 않은 트래픽의 5%는 무작위로 샘플링하여 검토함
L1은 동일한 컨텍스트 윈도우 내에서 에이전트 대화와 도구 사용을 검토하며, 턴 종료 시점이나 컨텍스트 요약 지점에서 기만 또는 권한 없는 행위를 확인함
L2와 L3는 보안 및 정렬 담당관의 심층 조사를 포함하며, 격리된 환경에서 증거를 검증하고 사례 간 패턴을 비교함

최우선 보안 경보는 15분 내 인간 응답자에게 전달됨. 프런티어 RL 실행은 24/7 페이지ング되며, 기타 트래픽은 업무 시간으로 제한됨
최우선 경보가 30분 내 해제되지 않을 경우 활동을 자동으로 중단하는 안전 메커니즘이 개발 중임
모니터링이 모델의 사고 사슬에서 미정렬 행위를 은폐하도록 유도할 수 있으므로, 플래그된 샘플의 RL 보상 변경 없이 비동기 방식으로 모니터링을 실행하여 선택 압력을 피함