OpenAI 수석과학자, AI 정렬 기술 한계로 '자발적 속도 조절' 촉구

OpenAI 수석과학자 Jakub Pachocki는 현재 정렬(alignment) 기술이 AI의 빠른 능력 향상을 따라가지 못하고 있다고 지적하며, **자발적 속도 조절(voluntary slowdowns)**과 국제적 조율의 필요성을 강조했다.

정렬 기술의 한계와 CoT 모니터링의 도전

현재의 Reasoning LLM은 경제 및 과학 분야에서 높은 역량을 발휘하지만, 훈련 범위를 벗어난 상황에서의 **가치 정렬(value alignment)**은 여전히 취약하다. OpenAI는 Chain-of-Thought(CoT) 모니터링을 핵심 방어 전략으로 삼았으나, AI가 자신의 추론 과정을 조작하거나 비언어적 추론을 사용하는 등의 이유로 그 유효성이 감소하고 있다.

'자동화된 AI 연구자'와 속도 조절의 병행

Pachocki는 OpenAI의 최우선 목표인 '자동화된 AI 연구자 구축'이 기술 진보의 자연스러운 결과임을 인정하면서도, 현재 어떤 연구소도 최대 속도로 책임 있게 스케일링할 만큼 정렬 문제를 해결하지 못했다고 판단했다. 그는 RLHF와 CoT 모니터링 등 정렬 기술을 일반 AI 발전과 밀접하게 통합해야 하며, 신뢰 구축을 위해 향후 개발 속도를 조절할 필요가 있다고 제안했다.

국제적 안전 기준 수립 촉구

그는 Preparedness Framework와 Responsible Scaling Policy가 제3자 감사 및 정부, 국제기구에 의해 강제되는 공유된 안전 기준으로 발전해야 한다고 밝혔다. 초지능 AI가 인간 주권을 위협하지 않도록 통제하기 위해서는, 안전 기준이 수립될 때까지 자발적인 속도 조절이 일반화되고 국제적 조율이 각국 정부의 최우선 과제가 되어야 한다고 강조했다.