데이터 필터링에 대한 쓴 교훈

대형 언어 모델 사전학습에서 고품질 데이터만 선별하는 것이 필수라는 통념이 있다. 하지만 새로운 연구는 충분한 컴퓨팅 파워가 있다면 오히려 필터링하지 않는 것이 최선이라는 결과를 제시한다.

연구팀은 고컴퓨팅, 데이터 희소 환경에서 스케일링 실험을 진행했다. 충분히 학습된 대형 파라미터 모델은 저품질 데이터나 방해 데이터를 견딜 뿐 아니라, 명목상 "나쁜" 데이터로부터도 실제로 이익을 얻는 것으로 나타났다.

이는 Rich Sutton의 "The Bitter Lesson"을 데이터 큐레이션 영역으로 확장한 결과로, 수작업 필터링보다 컴퓨팅 스케일이 더 효과적일 수 있음을 시사한다.