EngramEdit, LLM 지식 업데이트 분리 성공

EngramEdit은 DeepSeek Engram 같은 조건부 메모리 아키텍처를 활용해 LLM의 사실적 지식 업데이트를 일반 연산과 분리하는 기법을 도입했다. 이 방법은 하나의 사실이 다양한 표현으로 나타날 때 서로 다른 n-gram 임베딩을 활성화하는 문제와, 공유 임베딩 업데이트가 무관한 사실의 예측을 변경할 위험을 해결한다.

방법론

이 기술은 두 단계로 작동한다:

• 타겟 표현: 모델이 다양한 언어적 표현에서 업데이트된 사실을 예측하도록 타겟 메모리 표현을 계산한다.
• 임베딩 공동 업데이트: 타겟과 일치하도록 공유 n-gram 임베딩을 공동으로 업데이트한다. 무관한 지식을 보존하기 위해, 자주 재사용되는 임베딩의 업데이트에 덜 자주 사용되는 임베딩보다 더 강한 페널티를 부과한다.

성능 및 영향

실험 결과 EngramEdit은 거의 완벽한 편집 성공률로 독립적인 사실적 지식 업데이트를 가능하게 한다. 주요 발견 사항은 다음과 같다:

• 다중 홉 추론: 수정된 지식이 보이지 않는 표현과 다중 홉 추론 작업에서도 사용 가능하며, Chain-of-Thought(CoT) 프롬프팅 하에서 가장 강력한 베이스라인 대비 정확도가 약 3배에 달한다.
• 능력 보존: 여러 사실적 업데이트가 누적되더라도 무관한 지식과 일반적인 모델 능력은 대부분 유지된다.
• 아키텍처 전환: 이 발견은 조건부 메모리를 편집 가능한 지식 인터페이스로 확립하며, 단순 모델 스케일링을 넘어 정밀하고 분리된 지식 유지 관리를 지원한다.