딥러닝에 대한 과학적 이론이 나올 것이다

딥러닝의 내부 작동을 하나의 과학적 이론으로 다루려는 흐름을 정리한다. 핵심은 학습을 파라미터, 데이터, 과제, 학습 규칙이 만드는 동역학으로 보는 learning mechanics다.

이 관점은 딥러닝의 난제가 단순한 불투명성이 아니라 복잡성에 있다고 본다. 신경망은 비볼록·과매개변수화 구조를 가지며, 학습은 내부 표현을 형성하는 과정이라 기존 고전 이론만으로는 충분하지 않다.

글은 이런 이론이 갖춰야 할 조건으로 다음을 제시한다.

• first principles에서 출발할 것
• 정량적으로 말할 것
• 실험으로 예측 가능할 것
• 훈련, 표현, 최종 가중치를 함께 설명할 것
• 실용적이어야 하며, 어디까지 설명하는지도 분명할 것

또한 이론이 이미 형성되고 있다는 증거로 여러 축을 든다.

• deep linear network에서의 해석 가능한 학습 동역학
• NTK와 linearized network를 통한 kernel-like 설명
• mean-field와 lazy-rich 구분
• scaling laws, 하이퍼파라미터 이론, 보편 현상

아울러 무한 너비·무한 깊이 같은 극한이 복잡한 시스템을 단순화해 주며, 실제 유한 규모 모델에도 유효한 통찰을 제공한다고 본다. 이런 결과들이 모델 설계, 최적화, 데이터 설계, AI safety와 mechanistic interpretability에도 중요하다는 점을 강조한다.