언어가 사라진다

8개 언어(EN, ZH, AR, RU, JA, KO, HI, FR)와 여러 모델의 중간층 표현을 비교하자, 같은 주제의 문장은 언어가 달라도 서로 더 가깝게 모였다.

• 사진합성에 관한 문장은 Hindi 내부에서 요리 문장보다 일본어·중국어 문장에 더 가까웠다.
• Qwen3.5-27B, MiniMax M2.5, GLM-4.7, GPT-OSS-120B, Gemma-4 31B에서 같은 패턴이 반복됐다.
• dense transformer와 MoE 아키텍처 모두에서 언어 정체성이 중간층으로 갈수록 약해졌다.

더 어려운 테스트에서는 같은 개념을 영어 설명, Python 함수, LaTeX 수식으로 바꿔 넣었다. 그 결과 ½mv², 0.5 * m * v ** 2, "half the mass times velocity squared"가 내부 공간에서 같은 영역으로 수렴하는 경향을 보였다.

결론은, 이 모델들이 단순히 언어를 넘어서 표현 형식 자체를 통합된 기하학적 공간으로 압축하는 방향으로 작동한다는 점이다. 저자는 이를 Sapir-Whorf와 Chomsky 관점에 연결해 해석하며, 더 큰 모델에서도 같은 현상이 유지되는지 추가 검증을 예고했다.