OpenAI의 안전성 관리 실천 방안

OpenAI는 AI 서울 서밋을 통해 모델의 성능과 안전성을 동시에 확보하기 위한 과학적이고 균형 잡힌 접근 방식을 공유했다. 안전성을 모델 개발 초기 단계부터 통합하여 혁신과 신뢰성을 동시에 달성하는 것을 목표로 한다.

주요 실천 방안은 다음과 같다:

• 실증적 레드팀 테스트: Preparedness Framework에 따라 모델 출시 전 내부 및 외부 전문가를 통해 안전성을 평가한다. GPT-4o의 경우 70명 이상의 외부 전문가가 위험성을 평가했다.
• 정렬(Alignment) 및 안전 연구: 모델의 사실 관계 오류를 줄이고 jailbreak와 같은 공격에 대한 견고함을 높이기 위해 사후 학습(post-training) 연구에 집중 투자한다.
• 남용 모니터링: 전용 moderation 모델과 GPT-4를 활용해 위험을 감지하며, 국가 지원 해킹 그룹의 기술 남용 사례를 Microsoft와 공동 공개하는 등 위험 완화 정보를 공유한다.
• 체계적 안전 접근법: pre-training부터 배포에 이르는 모델 생애 주기 전반에 걸쳐 안전 조치를 구현한다.
• 아동 보호: ChatGPT와 DALL·E에 강력한 가드레일을 구축하고, Thorn과 협력하여 아동 관련 유해 콘텐츠를 탐지하고 보고한다.