AI BriefingStateBench: 프런티어 모델 복잡한 상태 추적 정확도 13%로 하락
StateBench: Testing how language models track state changes over long documents
·2026.11.04 02:15
핵심 내용
AI2의 StateBench에서 프런티어 모델이 복잡한 상태 추적에서 실패함을 확인했다
자세히 보기
- AI2가 장문 컨텍스트 상태 추적을 평가하는 벤치마크 StateBench를 공개함. 문제는 r-trivial, aperiodic, soluble, general finite의 네 가지 난이도로 분류됨.
- Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol 및 Luna 등 프런티어 모델은 쉬운 단계에서 높은 성능을 보임. 그러나 입력 길이가 길어질수록 가장 어려운 general finite 문제의 정확도는 13% 이하로 떨어짐.
- 해당 태스크에 직접 학습시킨 경우, 재귀 및 하이브리드 모델(Gated DeltaNet)은 트랜스포머보다 훨씬 먼 범위로 일반화됨. soluble 문제에서 64,000개 할당까지 거의 완벽한 정확도를 유지함.
- 트랜스포머는 직접 학습을 해도 가장 어려운 general finite 레벨을 학습하지 못함. 반면 유연한 메모리 업데이트를 가진 Gated DeltaNet 변형은 학습 시퀀스 길이의 10배까지 거의 완벽한 성능을 유지함.
- 벤치마크는 Krohn–Rhodes 이론에 기반하며 문제 형식의 중요성을 강조함. 일부 모델은 RULER 스타일 태스크에서 높은 점수를 얻었음에도 스프레드시트 스타일 편집에서는 무작위 수준에 가까운 점수를 기록함.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
