대규모 언어 모델은 맥락을 이해할 수 있는가?

맥락 이해를 평가하기 위한 새 벤치마크를 제안했다. 기존 데이터를 생성형 모델 평가에 맞게 바꿔 4개 과제와 9개 데이터셋으로 구성했고, 모델이 문맥적 특징을 얼마나 잘 파악하는지 묻는 프롬프트를 설계했다.

평가는 두 가지 축에서 진행됐다.

• In-context learning 사전학습 시나리오에서의 성능
• 양자화된 모델의 맥락 이해 능력

실험 결과, 사전학습된 dense model은 미묘한 문맥 특성을 이해하는 데 어려움을 보였고, 일부 경우에는 최신 fine-tuned model보다 성능이 떨어졌다. 또한 3-bit post-training quantization은 벤치마크 전반에서 다양한 수준의 성능 저하를 일으켰다.

저자들은 추가 분석을 통해 이런 경향이 우연이 아니라는 점을 뒷받침했다. 핵심 결론은 LLM이 겉보기에는 문맥을 잘 다루는 것처럼 보여도, 실제로는 더 정교한 contextual feature를 안정적으로 이해하지 못하며, 압축 과정에서도 그 약점이 더 드러난다는 점이다.