LLM이 초등학교 5학년 수준 이상의 자료를 전혀 보지 못한다면 어떤 일이 벌어질까?

현대 언어 모델(LM)은 모든 데이터를 동시에 학습하기 때문에, 새로운 기술이 실제로 **습득(Acquisition)**된 것인지 아니면 단순히 **인출(Elicitation)**된 것인지 구분하기 어렵다. 이를 해결하기 위해 연구진은 초등학교 5학년 수준의 커리큘럼으로 제한된 LittleCurriculum 데이터셋을 구축하고, 이를 통해 학습된 LittleLearner 모델을 선보였다.

LittleLearner는 0.6B, 1.3B, 5B 세 가지 규모로 제작되었으며, 각 모델은 동일한 아키텍처와 레시피를 가진 'Unfiltered' 대조군과 함께 제공된다.

주요 연구 결과는 다음과 같다:

• 지식의 한계: 모델 크기 확장(Scaling), SFT+GRPO 후속 학습, 인컨텍스트 학습(ICL) 모두 커리큘럼 범위 내의 성능은 향상시키지만, 범위를 벗어난(out-of-scope) 성능을 의미 있게 개선하지는 못했다. 즉, 사전 학습 필터가 모델의 실질적인 능력 상한선(Ceiling)을 결정한다.
• 후속 학습의 한계: GRPO를 통한 후속 학습은 K-5 범위 내의 능력은 크게 높이지만, 범위를 벗어난 고차원적 능력을 복구하지는 못했다.
• 인컨텍스트 학습: 테스트된 프롬프트 조건 하에서 ICL은 모델의 범위를 벗어난 추론 능력을 끌어내지 못했다.

이 실험 환경은 향후 RL을 통한 능력 발견, 지속적 학습(Continual Learning), 그리고 인간과 모델의 학습 비교를 위한 통제된 연구 도구로 활용될 수 있다.