Pythia-70M fast-memory 실험

고정 Pythia-70M 위에 forward-derived fast memory를 얹어, 가중치 업데이트 없이 one-shot symbolic recall을 실험했다.

• write 단계에서는 정답이 주어진 상태에서 메모리 value를 E[target] - sum_over_tokens p(token | h) * E[token]으로 계산했다.
• read 단계에서는 invented word의 hidden geometry를 key로 삼아 cosine top-1로 메모리를 찾고, 답변 위치에 correction vector를 더해 greedy generation했다.
• 예시로 blicket를 game A에서는 red, game B에서는 blue로 묶어 서로 다른 문맥 의미를 시험했다.

같은 문맥에서의 exact match는 both_top1 기준 write 1.000, read 0.805였고, plain은 0.008, unrelated는 0.000이었다.

frozen open-weight transformer에서도 외부 메모리와 출력 임베딩 기하를 이용해 제한적 one-shot binding이 가능함을 보였다.