장기컨텍스트용 Sessa

Sessa는 attention을 한 번의 읽기 연산이 아니라 recurrent feedback path 안에 넣는 장기 컨텍스트 LLM용 decoder architecture다.

핵심은 attention을 메모리 동역학의 일부로 만들어, 시간축 전반에 걸쳐 attention-mediated path를 여러 개 형성하는 데 있다.

명시적 가정과 matched regime에서, Transformer와 Mamba-style baseline보다:

• memory decay가 더 느리고
• selective retrieval이 더 유연하며
• 일부 조건에서는 effectively non-decaying influence profiles도 보인다고 제시한다.

긴 컨텍스트 처리에서 중요한 메모리 유지와 선택적 검색을 개선할 수 있는 구조를 제안하며, arXiv 논문과 GitHub 코드가 함께 공개됐다.