OpenAI, 프론티어 강화 학습 안전 사례 초기 가이드라인 공개

OpenAI가 프론티어 AI 학습을 위한 안전 사례(safety cases) 초기 가이드라인을 공개했다. 회사는 항공, 원자력 등 안전이 중요한 산업의 엄격함을 AI 개발에 적용하기 위해, 프론티어 강화 학습 실행 전 구조화된 증거 기반 문서화를 권장한다. 이는 AI 모델의 복잡한 특성을 고려한 이상적인 표준으로 제시됐다.

기술적 안전장치

가이드라인은 기술 스택의 세 가지 측면을 다루도록 제안한다: 정렬 학습, 격리, 모니터링.

• 정렬 학습: 자동화된 데이터셋 검토, 수동 점검, 보상 해킹을 처벌하기 위한 채점기 조정을 통해 정렬되지 않은 행동을 방지한다. 정렬 경향성을 감지하기 위해 오프라인 정렬 평가와 최악의 경우 스트레스 테스트를 권장한다.
• 격리: 인프라 보안 강화와 프론티어 실행의 체크포인트를 활용한 격리 레드팀 테스트를 포함한다. 높은 대역폭의 샘플 간 통신을 제한하고 사고 조사를 위해 변경 불가능한 트랜스크립트를 저장할 것을 권장한다.
• 모니터링: 알려진 문제에 대해 높은 재현율을 가진 라이브 시스템과 지표의 노후화를 방지하는 평가 최신성을 권장한다. 야간에 확인되지 않은 경보가 발생하면 실행을 자동으로 일시 중지하는 신속 대응 프로토콜을 포함한다.

운영 지침

기술적 통제 외에도 책임성과 투명성을 보장하기 위한 운영 모범 사례를 제시한다.

• 반대 의견 및 승인: 다른 팀원이 안전 사례의 허점을 찾기 위해 반대 의견을 작성해야 한다. 안전 책임자와 수석 과학자 등 고위 경영진이 검토하고 실행을 거부할 권한을 가져야 한다.
• 책임 및 일시 중지: 실행을 담당하는 고위 리더는 안전 사례와 사고 대응에 대해 책임을 진다. 새로운 보안 문제가 안전 사례를 무효화할 경우 실행을 일시 중지하기 위한 명확한 런북과 SLA가 존재해야 한다.
• 기술적 통제: 모니터링과 자동 일시 중지 같은 안전 기능은 fail closed 방식으로 작동해야 한다. 즉, 적절한 모니터링 없이 실행을 시작하거나 학습 내에서 모니터를 비활성화하는 것이 불가능해야 한다.

사고 조사

가이드라인은 심각한 AI 정렬 사고를 조사하고 실패로부터 배워 재발을 방지하기 위한 모범 사례를 상세히 설명한다.

• 근본 원인 분석: 연구자는 정렬되지 않은 행동이 어떻게 도입되었는지 이해하기 위해 표적 애블레이션이나 재샘플링 실험을 사용해야 한다.
• 탐지 및 공개: 사고 데이터를 이용하지 않고 사고 경향성을 발견하기 위한 새로운 정렬 테스트 방법을 개발해야 한다. 조사 결과와 사후 분석은 대중과 영향받는 제3자와 공유해야 한다.