OpenAI Noam Brown, 1만개 AI 에이전트로 밀레니엄 문제 해결 및 정렬 퇴보 위험 경고

OpenAI의 Noam Brown은 Dwarkesh Podcast 인터뷰에서 1만 개 AI 에이전트 스웜이 130B 토큰과 88시간을 소비해 Navier-Stokes 밀레니엄 상 문제를 해결한 사례를 공개했다. 이 실험은 멀티 에이전트 시스템의 가능성을 보여주지만, Brown은 멀티 에이전트 스케일링에 대한 과학적 이해가 아직 부족하다고 지적했다. GPT-5.6의 Ultra Mode는 기본 4개에서 최대 16개의 에이전트를 활용할 수 있으며, 병렬화 효율은 도메인에 따라 차이가 있다.

Brown은 AI의 자기 개선(RSI) 과정에서 정렬 퇴보(alignment degradation) 위험을 경고했다. 99.9% 정렬된 모델이 다음 세대를 생성할 때 정렬도가 99.8%로 하락하는 현상이 발생할 수 있으며, 이는 RL 학습 시 부정행위(cheating) 보상 비율이 0에 수렴하지 않기 때문이다. 현재 추정되는 부정행위 비율은 1/3~1/10 수준이다. Chain of Thought(CoT) 모니터링은 기만 감지에 유용하지만, 모델이 관찰을 인지하고 우회할 수 있어 한계가 명확하다.

Brown은 AI 발전 속도가 예상보다 빠르며, 내부 연구자들조차 밀레니엄 문제 해결 시점을 과소평가했다고 밝혔다. RSI는 실험 및 GPU 병목에 의해 제한되지만, 모델 릴리스 주기가 급속화되면서 안전성 평가 시간이 부족해지는 딜레마에 직면해 있다. Brown은 내부 개발과 외부 배포 간 격차가 심화될 수 있음을 우려하며, 평가 지표의 실세계 대표성 확보와 협력 학습의 안전성 논의를 지속해야 한다고 강조했다.