LG AI연구원, 그래프 트랜스포머 내부 메커니즘 기계론적 해석 연구 발표

LG AI연구원이 그래프 트랜스포머 모델인 TokenGT의 내부 작동 방식을 기계론적 해석(Mechanistic Interpretability) 기법으로 분석한 연구 결과를 공개했다. 기존 기계론적 해석 연구가 주로 LLM에 집중했던 것과 달리, 이번 연구는 화학 및 생물학 분야에서 널리 쓰이는 그래프 데이터 처리 모델의 내부 메커니즘을 규명한 초기 사례다.

연구팀은 차수(degree) 계산, 사이클 존재 여부 판별, 최단 경로 거리 계산 등 세 가지 그래프 태스크를 학습한 모델을 분석했다. 그 결과, 모델 아키텍처에 그래프 연산 기능이 명시적으로 내장되지 않았음에도 불구하고, 첫 번째 레이어의 어텐션 헤드를 통해 노드와 간선의 연결 관계를 복원하는 것으로 나타났다. 특히 노드 토큰이 연결된 간선 토큰에 강하게 어텐션 값을 할당하는 ID 매칭 메커니즘이 차수 정보를 잔차 스트림(residual stream)에 기록하는 핵심 과정임이 확인되었다.

이렇게 초기 레이어에서 형성된 국소 구조 정보는 단순 차수 계산뿐만 아니라 더 복잡한 고리 포함 여부나 최단 경로 태스크에서도 재사용되는 것으로 밝혀졌다. 활성화 패칭(activation patching) 실험을 통해 초기 차수 표현을 조작하면 후속 태스크의 성능에도 영향을 미친다는 사실이 입증되면서, 모델이 태스크별로 독립적인 지식을 학습하기보다 공통적인 그래프 구조 이해도를 기반으로 추론을 수행한다는 점이 드러났다.

이번 연구는 그래프 특화 아키텍처 없이도 트랜스포머가 그래프를 처리하는 원리를 기계론적으로 설명한 사례로, LG AI연구원은 향후 분자 물성 예측 등 실제 과학 문제 해결을 위해 분자 그래프 모델의 해석 가능성을 높이고 AI가 학습한 화학적 규칙을 검증하는 데 이 기법을 적용할 계획이다.