AkbasCore MAM, 동결된 LLM에 수치 카트리지 주입해 봉인 벤치마크 72/72 달성

핵심 메커니즘: DC6 통합

AkbasCore MAM은 파인튜닝과 RAG와 구별되는 LLM 메모리의 제3의 패러다임을 제시한다. 이 방식은 동결된 Mistral-7B-Instruct-v0.3이 수치형 '인지 카트리지'를 삽입해 영구적이고 점진적인 메모리를 획득하도록 한다.

• 카트리지 생성: 사실 데이터를 동결된 모델에서 한 번 처리한다. 시스템은 6계층의 숨겨진 상태(H6)와 0~6계층의 어텐션 키/값을 저장한다. 원본 텍스트는 폐기된다.
• 주입(DC6): 추론 시 0~6계층을 건너뛴다. 저장된 H6 상태를 모델 내부 상태에 직접 주입하고, 7~31계층은 정상적으로 실행되어 새 카트리지가 기존 메모리와 통합된다.
• 위치 보정: RoPE 회전을 수학적으로 조정하여 근사치 없이 카트리지를 새로운 위치에 배치한다.

벤치마크 결과 (TEST560)

이 방법은 4가지 관계 유형을 가진 24개의 합성 세계로 구성된 봉인된 패널에서 72개의 테스트 케이스로 검증되었다.

| 조건 | 입력에 원본 텍스트 포함 여부 | 정확도 | | :--- | :--- | :--- | | MAM, 추가 전용 (INCR_DC6) | 아니오 | 72/72 | | MAM, 배치 (BATCH_DC6) | 아니오 | 72/72 | | 모델이 전체 텍스트 읽기 (JOINT) | 예 | 72/72 | | 카트리지를 단순 스택 (INDEP) | 아니오 | 13/72 |

추가 전용 방식은 모델이 전체 원본 텍스트를 읽은 것과 동일한 성능을 보였으며, 단순 스택 방식은 현저히 실패했다(13/72).

검증 및 제약 사항

• 무결성: 모델 가중치는 변경되지 않았다(SHA-256 해시로 검증). 새로운 추가 작업 후에도 이전 메모리 행은 비트 단위로 동일하다.
• 범위: 이는 프로덕션 준비 제품이 아닌 개념 증명 릴리스(mam-v1.0.0)다. 현재 단일 모델에서 5개 카트리지 메모리로 제한된다.
• 효율성: 각 카트리지는 전체 KV 캐시(토큰당 약 128 KiB)와 비교해 컴팩트하다(토큰당 약 36 KiB).
• 가용성: 코드와 로그는 GitHub에서 확인할 수 있으며, 릴리스용 DOI가 제공된다.