모델들이 의도적으로 멍청해지는 이유

최근 LLM 트렌드는 추론(Reasoning) 점수는 높이면서 지식(Knowledge) 밀도는 낮추는 방향으로 가고 있다. AIME와 같은 추론 벤치마크 점수는 급상승하고 있지만, SimpleQA와 같은 사실적 회상(Factual Recall) 능력은 여전히 낮다.

지식과 추론의 트레이드오프

• 지식의 비용: 사실적 지식은 파라미터당 약 2비트의 공간을 차지할 정도로 무겁다. 모든 세부 정보를 가중치(Weights)에 담으려면 모델 규모가 기하급수적으로 커져야 한다.
• 추론의 효율성: 추론은 반복되는 절차(문제 분해, 중간 상태 추적 등)를 압축하는 방식이라 훨씬 효율적이다. 합성 데이터(Synthetic data)와 강화 학습(RL)을 통해 작은 모델에도 효과적으로 전이될 수 있다.

왜 지식을 버리는가?

• 지식의 부패(Rot): 학습된 지식은 시간이 지나면 즉시 낡은 정보가 된다. 가중치에 지식을 박아넣는 것은 비용 대비 효율이 낮다.
• 절차의 불변성: 수학적 논리나 문제 해결 절차는 시간이 지나도 변하지 않는다. 모델이 '추론 엔진'으로서의 역할에 집중하면 학습 데이터의 컷오프(Cutoff) 문제에서 비교적 자유로워진다.

결론: 모델은 엔진, 지식은 하네스(Harness) 모델의 역할은 지식을 암기하는 것이 아니라, 외부 도구(RAG, 웹 검색, API 호출 등)를 사용하여 문제를 해결하는 추론 엔진이 되는 것이다. 지식은 모델 내부의 가중치가 아닌, 실행 시점(Runtime)에 외부 환경으로부터 공급받는 것이 더 효율적이고 정확하다.