NIST의 AI 행정 명령에 대한 OpenAI의 답변

OpenAI는 NIST의 AI 행정 명령에 따른 정보 요청(RFI)에 응답하여, AI 역량 평가, 레드팀 테스트, 합성 미디어 및 출처(provenance) 등 세 가지 핵심 주제에 대한 의견을 제시했다.

OpenAI는 현재 Preparedness Framework를 통해 사이버 보안, CBRN(화학, 생물, 핵, 방사능), 설득, 모델 자율성 등 네 가지 주요 위험 영역을 추적하며 잠재적인 위험을 완화하고 있다.

최근 진행된 CBRN 관련 대규모 평가에서 GPT-4는 기존 인터넷 검색 결과와 비교했을 때 생물학적 위협 생성에 관한 정보를 제공하는 능력이 미미한 수준(mild uplift)인 것으로 나타났다. 이는 AI가 기존 리소스보다 얼마나 더 큰 위험을 초래하는지 측정하는 것이 중요함을 시사한다.

효과적인 AI 위험 평가를 위해 OpenAI는 다음과 같은 세 가지 원칙을 강조했다:

• 기준점(Baseline) 대비 변화 측정: AI가 기존 리소스(예: 인터넷 검색)보다 얼마나 더 큰 위험을 초래하는지 측정해야 한다.
• 도메인 전문가와의 협업: 객관적인 평가를 위해 해당 분야의 외부 전문가를 참여시켜 연구 설계 및 채점 과정에 활용해야 한다.
• AI 전문가와의 협업: 모델의 잠재적 역량을 최대한 끌어내기 위해 AI 시스템에 대한 깊은 이해를 바탕으로 평가를 설계해야 한다.