숫자 없는 산술 – LLM이 수학을 수행하는 방식

LLM은 손가락이나 계산기 같은 물리적 도구 없이 **행렬(Matrices)**만을 사용하여 산술을 수행한다. 모델이 산술 문제를 풀 때 단순히 패턴을 암기하는 것인지, 아니면 실제 알고리즘을 실행하는 것인지에 대한 근본적인 질문을 던진다.

모델은 **토큰(Token)**을 벡터(Vector) 형태로 처리하며, **잔차 스트림(Residual stream)**을 통해 여러 **레이어(Layer)**를 거치며 정보를 지속적으로 업데이트한다. 이 과정에서 **어텐션(Attention)**은 서로 다른 토큰 위치 간의 정보를 교환하고, **MLP(Feed-forward block)**는 로컬 벡터를 재구성하여 특정 특징을 강화하거나 억제한다.

결과적으로 LLM은 인간의 방식과는 다른, 모델 내부의 벡터 공간 내에서 작동하는 고유한 기계적 수 체계를 구축하여 수학적 연산을 처리한다.