Aimee, Qwen과 Gemma4용 네이티브 메모리 플러그인 공개
Native memory for local LLMs,
핵심 내용
Aimee, Qwen 3.8과 Gemma4용 네이티브 메모리 플러그인 공개로 재학습 없이 지식 접근 가능하게 했다.
자세히 보기
Aimee 프로젝트가 로드맵 1단계 완료를 발표하며 Qwen 3.8 27B 및 Gemma4 모델(E2B, E4B, 12B, 26B)용 vLLM 플러그인 5종을 공개했습니다. 이 플러그인은 모델이 외부 지식 저장소를 네이티브로 소비할 수 있게 하여, 전통적인 컨텍스트 윈도우를 우회하고 텍스트 주입으로 인한 페널티를 제거합니다. 프로젝트는 대규모 워크로드에서 이 방식이 텍스트 기반 메모리 공급보다 훨씬 빠르며, Transformer, 파생 Transformer, Mamba 아키텍처에 적용 가능하다고 주장합니다. 이는 추론은 모델에, 메모리는 하네스에 두어야 한다는 핵심 철학에 부합하며, 파라미터 수가 지식 보존의 한계가 되지 않도록 합니다. 또한 2단계 초기 성공 사례로, 1단계 인프라를 활용해 안전한 지식 업데이트를 수행하는 Gemma4 26B 모델의 자기 학습 추론 능력을 시연했습니다. 향후 DeepSeek 등 다른 모델 지원 확대를 계획하고 있으며, 논문 발표 시 소스 코드와 실험 데이터를 공개할 예정입니다. 프로젝트는 Engrams를 탐색했으나 이 특정 애플리케이션에는 적합하지 않다고 명시했으며, 이는 보완적인 아이디어로 남습니다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.