LLM을 이용한 생물학적 위협 생성 지원 위험에 대한 조기 경보 시스템 구축

OpenAI는 Preparedness Framework의 일환으로, LLM이 생물학적 위협을 만드는 데 도움을 줄 수 있는 위험을 평가하는 방법론을 개발하고 있다. 이번 연구는 모델이 기존 인터넷 정보에 비해 위험한 생물학적 정보에 대한 접근성을 얼마나 높이는지 측정하는 데 중점을 둔다.

연구를 위해 생물학 전문가 50명과 학생 50명을 대상으로 실험을 진행했다. 참가자들은 인터넷만 사용하는 대조군과 인터넷과 GPT-4를 함께 사용하는 실험군으로 나뉘어, 생물학적 위협 생성의 전 과정(아이디어 구상, 획득, 증폭, 제형화, 살포)에 관한 과제를 수행했다.

실험 결과, GPT-4를 사용한 그룹에서 정확도와 완결성 측면의 미미한 성능 향상이 관찰되었다.

• 정확도: 전문가 그룹 0.88점, 학생 그룹 0.25점 상승 (10점 만점 기준)
• 완결성: 전문가 그룹 0.82점, 학생 그룹 0.41점 상승

하지만 이러한 성능 향상은 통계적으로 유의미한 수준은 아니었으며, 이는 생물학적 위협 생성에 있어 LLM의 위험성을 확정하기에는 부족하다. OpenAI는 이번 연구를 바탕으로 위험 임계치를 정의하기 위한 추가 연구와 커뮤니티 논의를 지속할 계획이다.