δ-Mem: 대형 언어 모델을 위한 효율적 온라인 메모리

δ-Mem은 frozen full-attention backbone 위에 작은 online associative memory를 더해, 과거 정보를 계속 누적·재사용하도록 설계했다.

과거 정보는 delta-rule로 갱신되는 고정 크기 상태 행렬에 압축되고, 그 읽기 결과는 생성 단계에서 attention 계산에 low-rank correction으로 반영된다. 전체 컨텍스트를 늘리거나 백본을 전면 재학습하지 않아도 기억 기능을 보강하는 구조다.

실험에서는 8×8 온라인 메모리 상태만으로도 평균 성능이

• 고정 백본 대비 1.10배
• 가장 강한 비-δ-Mem 메모리 베이스라인 대비 1.15배 향상됐다.

기억 중심 벤치마크에서는 개선 폭이 더 컸다.

• MemoryAgentBench: 1.31배
• LoCoMo: 1.20배

일반 능력은 대체로 유지됐고, 작은 온라인 상태를 attention과 직접 연결하는 방식만으로도 장기 메모리를 효율적으로 구현할 수 있음을 보여줬다.