ASRN, LLM용 선형 메모리 복사 계층 도입

**ASRN(Adaptive Sparse Recurrence Network)**은 언어 모델의 메모리 사용을 최적화하면서 컨텍스트를 유지하도록 설계된 새로운 복사 계층을 도입했다.

작동 방식

이 아키텍처는 학습된 해시 테이블을 사용하여 시퀀스 내 현재 컨텍스트의 이전 발생 위치를 식별한다. 이전 인스턴스를 찾은 후 모델은 후속 토큰을 복사하여, 표준 어텐션 메커니즘의 2차 메모리 비용 없이 과거 패턴을 효과적으로 활용한다.

주요 이점

주요 장점은 시퀀스 길이에 비례하는 선형 메모리 사용량으로, 대규모 언어 모델에서 긴 컨텍스트 처리 시 발생하는 주요 병목 현상을 해결한다.