Engram, 이미지 생성 시 역할 분석

LLM 학습 성능을 높이는 것으로 알려진 Engram 모듈(해시 키 기반의 연관 메모리)을 자기회귀(AR) 이미지 생성 모델에 적용하여 그 작동 원리를 분석한 연구가 발표되었다.

실험 결과, Engram을 적용한 모든 변형 모델은 순수 AR 베이스라인보다 FID(이미지 품질 지표)가 낮게 나타났다. 이는 Engram 모듈이 백본의 연산량(FLOPs)은 줄여줄 수 있지만, 샘플 품질 자체를 개선하는 데는 실패했음을 의미한다.

연구진의 심층 분석 결과는 다음과 같다:

• 콘텐츠 기반 검색 기능 부재: 해시 입력을 다른 예시로 교체해도 다음 토큰 분포에 유의미한 변화가 없었으며, 이는 Engram이 의도된 대로 콘텐츠 기반의 검색 메커니즘으로 작동하지 않음을 보여준다.
• 아키텍처 보조 경로 역할: Engram은 실제 메모리 검색기라기보다, 학습된 테이블의 기여도가 매우 낮은 **게이트형 아키텍처 보조 경로(gated architectural side-pathway)**로 기능한다.

결론적으로, 이미지 생성 환경에서 Engram은 단순한 잔차 스트림(residual stream)의 보조적인 경로 역할을 수행할 뿐, 효과적인 메모리 검색 도구로 활용되지는 못하는 것으로 나타났다.