LLM에 대한 ‘수학적으로 증명됐다’는 주장들의 문제점

AI 담론에서는 실제 수학이 담긴 논문이 곧바로 ‘LLM은 X할 수 없다’는 결론으로 바뀌는 일이 반복된다. 이 글은 그런 흐름이 최근 세 편의 논문에서 어떻게 같은 구조로 나타나는지 짚는다.

• Hector Zenil의 self-improvement 논문은 KL-divergence 기반 재학습을 α_t → 0로 외부 신호가 줄어드는 동적 시스템으로 모델링해 model collapse를 보였다. 하지만 논문은 외부 검증기, 고정 공리, 형식적으로 명시된 환경이 있는 시스템은 이 결론 밖이라고 분명히 적는다.
• Xu, Jain, Kankanhalli의 ‘Hallucination is Inevitable’는 hallucination을 계산 가능한 함수의 출력을 정확히 재현하지 못하는 것으로 정의해, 입력-출력 쌍만으로 학습한 LLM은 일반 문제해결기로 쓸 때 결국 오류를 낼 수밖에 없다고 결론 내린다. 그러나 retrieval, tool use, knowledge base, formal verifier처럼 외부 정보를 받는 시스템에는 정리가 적용되지 않는다.
• Varin Sikka, Vishal Sikka의 ‘Hallucination Stations’는 길이 N 프롬프트 안의 O(N^3) 이상 작업을 transformer의 forward pass만으로는 처리할 수 없다고 보며 한계를 제시한다. 다만 저자들도 여러 LLM을 결합한 composite system이나 도구 결합은 더 높은 능력을 낼 수 있다고 인정한다.

실제로 성능을 끌어올린 방식은 AlphaZero의 self-play, RLVR, verifier-filtered synthetic data처럼 외부 신호를 넣는 루프였다. 이 글은 따라서 ‘수학적으로 증명됐다’는 헤드라인보다, 어떤 가정 아래 어떤 한계가 성립하는지 정확히 읽어야 한다고 강조한다.