무한히 더 멀리: Tool-use가 State Space Models의 길이 일반화를 연다

**State Space Models (SSMs)**는 고정 크기 메모리와 선형 계산 복잡도로 긴 문맥과 장문 생성에서 Transformer의 대안으로 떠올랐지만, 저자들은 먼저 SSM이 어떤 “진짜 장문 생성” 문제도 정확히 풀 수 없다는 이론적 결과를 제시한다. 즉, SSM의 핵심 강점으로 여겨진 길이 확장성이 근본적으로 제한될 수 있음을 보인다.

그 한계는 외부 tool 접근을 허용하면 완화된다. 적절한 tool 설계와 문제별 학습 데이터를 주면, SSM은 어떤 tractable problem도 풀 수 있고 문제 길이와 복잡도가 커져도 일반화할 수 있다고 주장한다.

이 이론적 결과 뒤에, 저자들은 tool-augmented SSMs가 여러 과제에서 강한 길이 일반화를 보인다고 실험적으로 보여준다.

• Arithmetic 과제
• Reasoning 과제
• Coding 과제

핵심 메시지는, SSM이 단독으로는 장문 생성의 본질적 제약을 갖더라도 interactive tool-based 또는 agentic 설정에서는 효율적인 대안이 될 수 있다는 점이다. Transformer를 완전히 대체한다기보다, 외부 도구와 결합된 SSM이 긴 문제를 다루는 새로운 방향을 열어 준다.