REMOry, 입력 위치 5.2%로 전체 컨텍스트 성능 근접
[Paper] REMORY: Learning Residual Memory for Context Compaction
·2026.10.20 22:50
핵심 내용
REMOry가 소프트 메모리 토큰으로 에이전트 도구 오류를 줄였다
자세히 보기
- REMORY는 유한한 컨텍스트 윈도우 내에서 장기 에이전트를 지원하기 위해 텍스트 요약에 경계가 있는 소프트 메모리 토큰 시퀀스를 보완하는 신경 메모리 네트워크임
- SummHay 벤치마크에서 인사이트 커버리지는 거의 변하지 않는 상태에서 소스 귀속성을 개선하며, 입력 위치의 5.2%만 사용하여 전체 컨텍스트 합산 점수에 근접함
- Qwen3.8-27B와 GLM-5.3-Flash는 잔차 메모리를 사용할 때 장기 에이전트 벤치마크 전반에서 일관된 성능 향상을 보임
- 두 모델 모두 BrowseComp와 Terminal-Bench 2.1에서 반복적인 도구 출력과 도구 오류가 현저히 감소함
- 해당 방식은 요약을 조건으로 토큰을 생성하고 그 뒤에 추가하여 시퀀스 차원에서의 잔차 연결 유사체를 형성함
- 관련 리소스는 arXiv(2610.11287), GitHub(fudan-generative-vision/Remory), Hugging Face(fudan-generative-ai/remory)에서 제공됨
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.