데이터 해자 재고

Ryan Greenblatt와 Shuchao Bi의 논의를 통해 AI 모델의 성능 향상 원인을 재검토한다. 기존에는 데이터의 양과 질이 핵심 경쟁력으로 여겨졌으나, 두 전문가 모두 알고리즘적 진보(algorithmic progress) 가 최근 AI 발전의 더 큰 동인이라고 주장한다.

Greenblatt는 동일한 컴퓨트 자원으로 과거 모델을 재학습하면 현재 최상위 모델에 근접한 성능을 낼 수 있다고 분석했다. 이는 모델 아키텍처와 학습 방법의 개선이 데이터 자체의 증가보다 큰 영향을 미쳤음을 시사한다.

Bi 역시 원시 데이터가 최적의 분포를 갖지 않으며, 토큰당 지능을 균등화하는 데이터 분포 변경이 스케일링 법칙의 개선에 기여한다고 지적했다. Greenblatt는 인간 전문가 데이터보다 데이터 큐레이션 및 필터링 과정의 과학적 접근이 프리트레이닝 데이터 품질 향상의 핵심이라고 강조했다.