AI 연구자들, RSI의 누적 작업 성격과 지속 학습의 한계 논의

Dwarkesh Patel은 Zyphra의 CTO Beren Millidge, Thinking Machines의 수석 과학자 John Schulman, Baseten의 모델 훈련 책임자 Charlie O'Neill과 함께 AI 연구의 현황에 대해 논의했다. 패널들은 재귀적 자기 개선(RSI)이 이론적으로 가능한 '누적 작업'인지, 아니면 법률 사무소 에이전트처럼 분포가 변하는 비정적(non-stationary) 환경에서의 작업인지에 대해 토론했다. Beren Millidge는 메타 학습의 일반화와 지속 학습(continual learning)이 해결되지 않을 경우, AI가 벤치마크에서는 뛰어나지만 실제 환경과의 격차(sim-to-real gap)로 인해 제한될 수 있다는 시나리오를 제시했다. Dwarkesh Patel은 데이터에 의한 사전 학습 진전과 관련된 조사를 언급하며, 현재 사전 학습된 기반 모델 위에 중간 학습(mid-training)과 강화 학습(RL)을 적용하는 방식이 지속 학습과 유사해 보이지만, 최신 모델에 작은 업데이트를 반복하며 기존 지식을 전혀 잃지 않는 진정한 지속 학습과는 다르다는 점에 동의했다.