딥러닝 과학 이론

딥러닝을 설명하는 과학적 이론이 실제로 형성되고 있으며, 이를 learning mechanics라고 부를 수 있다고 주장한다.

핵심은 개별 모델의 세부보다 학습 과정의 동역학, 숨은 표현, 최종 가중치, 성능에 대한 거시적 통계와 정량 예측을 다루는 데 있다.

저자들은 이 방향을 떠받치는 다섯 축을 정리한다.

• 이상화된 해석 가능 설정: 현실 학습의 직관을 주는 단순 모델
• 추적 가능한 극한: 근본 현상을 드러내는 계산 가능한 한계
• 간단한 수학 법칙: 중요한 거시 관측치를 설명하는 법칙
• 하이퍼파라미터 이론: 학습의 복잡성을 분리해 더 단순한 체계로 환원
• 보편적 행동: 시스템과 설정을 가로지르는 공통 패턴

이들 연구는 공통적으로 학습 동역학을 다루고, 거친 집계 통계를 설명하며, 반증 가능한 수치 예측을 중시한다.

저자들은 이 관점을 물리학의 mechanics에 비유하고, 통계적·정보이론적 접근과의 관계도 함께 논의한다. 특히 mechanistic interpretability와는 상호 보완적 관계가 될 수 있다고 본다.

또한 “근본 이론은 불가능하다”거나 “중요하지 않다”는 반론을 검토하고, 마지막에는 이 분야의 열린 문제와 입문자용 방향을 정리한다.