Dario Amodei, 스케일링 법칙과 컴퓨팅 가설 논의

Dario Amodei는 지난 3년간 AI 모델의 발전이 고등학생 수준에서 대학생, 그리고 전문적인 PhD 수준으로 지수적으로 성장해 왔으며, 이는 당초 예상했던 궤적과 일치한다고 밝혔다.

현재 AI 분야의 주요 화두는 RL(강화학습) 스케일링이다. 기존의 언어 모델 스케일링 법칙과 달리, RL 스케일링에 대해서는 아직 공개된 법칙이 없으며, 이것이 모델에게 새로운 기술을 가르치는 것인지 아니면 메타 학습을 유도하는 것인지에 대한 불확실성이 존재한다.

Amodei는 자신의 '컴퓨팅 빅 블롭(Big Blob of Compute)' 가설을 재확인했다. 이는 Rich Sutton의 '고통스러운 교훈(The Bitter Lesson)'과 유사하게, 복잡한 알고리즘적 기교보다 대규모 컴퓨팅 자원을 활용하는 것이 결국 모델의 성능을 결정짓는 핵심 요소라는 관점이다.