컨텍스트 윈도 한계를 깬 Subquadratic, 1200만 토큰 윈도 공개

Subquadratic가 Subquadratic Selective Attention(SSA) 기반 모델로 1200만 토큰 컨텍스트 윈도를 내놨다. 회사는 API에서 이 윈도를 제공하고, Q4에는 5000만 토큰 윈도도 목표로 한다.

업계는 이미 100만 토큰 시대에 들어섰지만, 긴 컨텍스트를 실제로 잘 쓰는 모델은 드물다. MRCR v2에서 GPT-5.5는 74.0%, Anthropic의 Claude Opus 4.7은 32.2%에 그쳤고, 그래서 RAG, agentic decomposition, hybrid model architectures 같은 우회책이 널리 쓰여 왔다.

SSA의 핵심은 query와 key의 내용에 따라 중요한 위치를 고르면서도 selection 자체를 선형(linear) 으로 유지한다는 주장이다. Subquadratic는 128K에서 7.2배, 100만 토큰에서 dense attention 대비 52.2배 빠르고, 1200만 토큰 needle-in-a-haystack에서 92.1%, MRCR v2에서 83점을 기록해 GPT-5.5의 74.0%를 앞섰다고 밝혔다.

주요 벤치마크는 다음과 같다.

• RULER 128K: 97.1점으로 Anthropic의 Opus 4.6(94.8점)을 상회했다.
• SWE-Bench Verified: **82.4%**로 Opus 4.6의 81.4%, Google의 Gemini 3.1 Pro의 80.6%를 근소하게 앞섰다.
• 각 모델은 한 번만 실행됐고, SWE-Bench는 평가 환경 영향이 크다고 논문도 인정했다.

이전 접근법들도 한계를 드러냈다. Longformer 같은 fixed-pattern sparse attention은 가까운 정보엔 강하지만 멀리 떨어진 의존성을 놓치고, Mamba, Mamba-2, RWKV, RetNet은 상태 압축이 손실적이다. Nvidia의 8B-scale study에서도 pure Mamba-2는 MMLU와 phonebook lookup에서 transformer보다 뒤졌고, attention을 다시 넣어야 격차가 줄었다.

최근의 Native Sparse Attention은 ACL 2025 best paper award를 받았고, 후속인 DeepSeek Sparse Attention(DSA) 는 DeepSeek V3.2-Exp에 들어갔다. 하지만 DSA는 실제 attention은 sparse해도 key를 고르는 indexer가 query와 key를 전부 비교해야 해 selection 단계가 다시 quadratic이다. Jamba, Kimi Linear, Qwen3-Next, Nemotron v3 같은 hybrid도 일부 dense attention으로 retrieval을 보완하지만, 남은 O(n²) 비용을 끝내 없애지 못한다.

현재 제품은 API, SubQ Code CLI agent, SubQ Search deep research tool로 beta 제공된다. 두 제품은 주요 hyperscaler가 아닌 neoclouds에서 구동되며, 가중치는 공개하지 않지만 기업용 post-training 도구는 제공할 계획이다. 회사는 이전에 Aldea로 불렸고 speech model에서 pivot한 뒤 지금까지 $29 million을 $500 million valuation으로 조달했다. Magic.dev는 2024년 8월 1억 토큰 모델과 1000배 효율을 내세워 5억 달러 이상을 유치했지만, 2026년 초 기준 외부에서 확인되는 LTM-2-mini 사용 흔적은 거의 없었다. 이 범주는 데모와 실제 채택 사이의 간극이 여전히 크다.