MemoryLLM: Transformer를 위한 플러그 앤 플레이 방식의 해석 가능한 Feed-Forward Memory

최근 LLM의 핵심 기술인 Transformer의 작동 원리를 이해하는 것은 매우 중요하다. 본 연구는 FFN(Feed-Forward Networks) 모듈의 해석 가능성 문제를 해결하기 위해, FFN을 Self-Attention과 분리하는 MemoryLLM을 제안한다.

MemoryLLM은 분리된 FFN을 컨텍스트와 무관한(context-free) 토큰 단위의 **신경망 검색 메모리(neural retrieval memory)**로 취급하여 연구할 수 있게 한다. 이를 통해 입력 토큰이 FFN 파라미터 내의 메모리 위치에 어떻게 접근하는지, 그리고 다양한 다운스트림 태스크에서 FFN 메모리가 얼마나 중요한 역할을 하는지 심층적으로 조사한다.