AI BriefingApple Research, Weighted State Souping으로 장문 컨텍스트 검색 효율화 제안
·2026.11.10 09:00
핵심 내용
Weighted state souping이 장문 컨텍스트 작업의 성능을 크게 향상시켰다
자세히 보기
- Weighted state souping은 상태 공간 모델(SSM)에서 캐시된 상태 인코딩을 조합하기 위한 쿼리 의존 가중치를 학습하는 방법임
- 단일 및 멀티홉 문서 질의응답, needle-in-a-haystack 검색, 변수 추적, 도구 사용 등 다양한 작업에서 장문 컨텍스트 성능을 크게 향상시킴
- 효율적인 희소 변형은 컨텍스트 길이에 관계없이 거의 일정한 인코딩 비용을 달성하면서 성능을 유지하거나 개선함
- 논문은 souping이 작동하는 이유와 실패할 수 있는 시점에 대한 이론적 논증을 포함하며, NeurIPS 2026의 Workshop on Personalized, Aligned, Long-term Memory for AI Systems(PALM)에 채택됨
- William L. Tong, Aryo Lotfi, Emmanuel Abbe, Josh Susskind, Cengiz Pehlevan, Eran Malach이 저자로 참여했으며, Apple 및 Harvard University 재직 중 수행한 연구임
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
