그래프 분석으로 grokking 조기 예측
Graph spectral analysis (Fiedler value + Scheffer CSD indicators) predicts grokking 21k steps before loss function - five reproducible experiments [R]
·2026.05.19 23:16
그래프 스펙트럼 분석을 통해 신경망의 grokking 현상을 손실 함수보다 훨씬 빠르게 예측할 수 있다.
신경망 가중치 그래프의 Fiedler value(Laplacian의 두 번째로 작은 고유값)와 Scheffer CSD(Critical Slowing Down) 지표를 결합하여 훈련 중 신경망 토폴로지를 모니터링하는 방법론을 제시한다.
주요 실험 결과는 다음과 같다:
- 탐지(Detection): 테스트 정확도가 변하기 21,000단계 전에 lambda-2 지표로 grokking 접근을 감지한다.
- 분류(Classification): grokking과 파괴적 망각(catastrophic forgetting)이 서로 다른 구조적 지문(기울기 차이)을 가짐을 확인했다.
- 조정(Steering): 구조적 가이드를 통한 개입 시 지식 보존율 **91.7%**를 기록했다 (미개입 시 2.6%).
- 복합 작업(Compounding): 연속적인 작업 수행 시 grokking을 48배 가속화하며 높은 지식 유지율을 보였다.
- 선제적 커리큘럼(Preemptive curriculum): 작업 간 충돌 위험을 정확히 예측하여 지식 손실을 방지한다.
본 연구는 2층 MLP와 1층 Transformer를 대상으로 수행되었으며, 복잡계 과학의 조기 경보 지표를 가중치 그래프에 적용했다. 다만, 현재는 toy task 기반 연구이므로 대규모 모델에 대한 검증은 필요하다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.