MathFormer: 수학적 추론인가 패턴 매칭인가

MathFormer는 주어진 인수분해 식을 전개된 형태로 예측하는 seq2seq 모델을 통해 수학적 능력의 본질을 탐구합니다.

연구 결과, 단 4M 파라미터 규모의 모델이 수학적 지식이 전혀 없는 상태에서도 기호 수학 작업에서 약 98.6%의 정확도를 달성했습니다. 이는 모델이 연산자나 변수의 개념을 이해하기보다 구조적 토큰 변환(structural token transformations) 패턴을 학습했음을 시사합니다.

이 결과는 대규모 언어 모델(LLM)이 보여주는 수학적 '추론' 능력이 실제로는 대규모의 **구조화된 패턴 완성(structured pattern completion)**일 가능성을 뒷받침하는 근거로 활용될 수 있습니다.