AI BriefingMemT-1.0, 128K 컨텍스트에서 1.86배 속도 및 66배 저장 용량 절감 달성
[Paper] MemT-1.0: Towards Memory-Native Evolution
·2026.10.21 21:00
핵심 내용
MemT-1.0이 Gated DeltaNet-2로 메모리를 내재화해 기존 베이스라인을 능가했다
자세히 보기
- Metis 기반의 MemT-1.0은 메모리를 모델 계산 과정에 내재화하는 새로운 메모리 파운데이션 모델 아키텍처임
- 128K 토큰 히스토리 길이에서 MemT-1.0-Nano는 전체 컨텍스트 KV 캐시 대비 1.86배의 엔드투엔드 추론 속도 향상과 66배의 영속 저장 용량 절감 달성
- 34B 토큰을 활용해 지속 사전학습과 사후학습의 2단계 파이프라인으로 학습된 MemT-1.0-Nano와 MemT-1.0-Flash 모델 패밀리 구성
- 평가 결과에서 파라메트릭 메모리 베이스라인 대비 평균 성능 우위 확보 및 검색 증강 방식과 경쟁력 유지, 일반 능력 보존 확인
- Gated DeltaNet-2를 통한 안정적인 토큰 레벨 메모리 업데이트와 Mixture-of-Storage를 통한 네이티브 메모리 용량 확장 적용
- 검색된 절차적 경험의 내재화를 통해 에이전틱 작업 성공률 향상, 메모리 네이티브 진화를 위한 실질적 단계 제시
- arXiv, GitHub, Hugging Face의 MemTensor 조직에서 관련 리소스 제공
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
