적게 담아 더 많이 채우기: 학습 데이터 프루닝을 통한 사실 정보 암기력 향상

LLM은 파라미터 내에 사실적 지식을 암기하는 데 어려움을 겪으며, 이는 종종 할루시네이션과 성능 저하로 이어진다. 연구에 따르면, 학습 데이터의 정보량이 모델의 **수용량(Capacity)**을 초과하거나 사실의 빈도 분포가 **멱법칙(Power law)**을 따르며 불균형할 때 사실 정확도가 저하된다.

이를 해결하기 위해 **학습 손실(Training Loss)**만을 활용하여 데이터의 양을 제한하고 빈도 분포를 평탄하게 만드는 데이터 선택(Data Selection) 기법을 제안한다.

실험 결과, 이 방법론은 다음과 같은 성과를 거두었다:

• 고엔트로피 사실을 포함한 데이터셋에서 사실 정확도를 모델의 수용량 한계치까지 끌어올렸다.
• Wikipedia 코퍼스로 학습 시, GPT2-Small(110M) 모델이 기존 방식보다 1.3배 더 많은 개체 사실을 암기했다.
• 이는 전체 데이터로 학습한 1.3B 규모의 모델과 대등한 성능을 달성한 결과다.