딥러닝 이론

딥러닝이 왜 과적합 없이 일반화하는지를 출력공간 동역학으로 설명한다. 훈련 출력 벡터와 Jacobian으로 empirical NTK(eNTK) 를 정의하고, gradient flow가 출력과 손실을 어떻게 이동시키는지 추적한다.

이 프레임은 무한폭/무한깊이 가정 없이, 임의의 미분가능 아키텍처와 볼록 손실에 대해 적용된다고 주장한다. 훈련 중 손실이 실제로 사라진 방향은 signal channel로, 닿지 못한 방향은 reservoir로 나뉘며, reservoir에 남은 정보는 테스트에서 보이지 않는다고 본다.

이 관점으로 다음 현상을 하나의 틀에 넣는다.

• benign overfitting: 잡음이 reservoir에 남는 현상
• double descent: 잡음이 signal channel과 reservoir 사이를 오가며 생기는 현상
• implicit bias: gradient descent가 큰 커널 고유값부터 따라가며 낮은 노름 해를 선호하는 경로
• grokking: 처음엔 암기하던 신호가 커널 변화로 나중에 signal channel에 들어오며 늦게 일반화하는 과정

부록에서는 mu_k^2 > sigma_k^2/(b-1) 조건으로 파라미터를 갱신하는 Adam 변형도 제안한다. 저자들은 이를 통해 population risk에 직접 맞춘 학습, 5배 빠른 grokking, PINN의 memorization 억제, DPO fine-tuning 개선을 주장한다.