LLM 지식과 추론: 파라미터의 역할

최근 발표된 두 편의 논문(Incompressible Knowledge Probes, Densing Law of LLMs)은 LLM의 효율성과 지식 습득 메커니즘에 대한 중요한 시사점을 제공한다.

Densing Law of LLMs는 모델 효율성의 가속화를 예측한다. 연구에 따르면 약 3개월마다 동일한 성능을 유지하면서도 파라미터 수는 절반으로 줄어든 모델이 등장할 수 있다.

반면, **Incompressible Knowledge Probes (IKPs)**는 모델의 아키텍처 및 학습 방법론이 추론(Reasoning)과 지시 이행(Instruction following) 능력은 개선할 수 있지만, **사실적 지식(Factual knowledge)**의 양은 여전히 파라미터 규모에 의존한다는 점을 지적한다.

이러한 연구 결과는 모델의 파라미터를 늘려 지식을 직접 저장하는 방식의 효율성에 의문을 제기하며, RAG(검색 증강 생성)와 같은 외부 지식 활용 기술의 중요성을 시사한다.