Sakana AI, 1000층 신경망 학습 가능한 'Augmented Lagrangian Predictive Coding' 공개

Sakana AI가 기존 **Predictive Coding(PC)**의 깊은 네트워크에서의 신호 감쇠(signal decay) 문제를 해결하기 위해 **Augmented Lagrangian Predictive Coding(PC-ALM)**을 제안했다. PC-ALM은 각 레이어에 **dual variable(λ)**을 도입하여, 자유 에너지(FPC) 대신 증분 라그랑지안(Augmented Lagrangian)에 대한 primal-dual 추론을 수행한다. 이를 통해 각 레이어는 현재 오차(P)와 누적 오차(I)를 결합하는 PI 피드백 컨트롤러처럼 동작하며, 지역적 계산만으로 전역 손실 함수의 기울기 신호를 계산할 수 있다. 선형 네트워크 한계에서는 dual neurons가 backprop credit signal로 수렴함이 이론적으로 입증되었다.

실험 결과, PC-ALM은 1000-layer Residual MLP(width 32, ReLU)에서 MNIST 학습에 성공했으며, Backprop 대비 약 2%p 이내의 성능을 유지했다. 이는 layer-local 방법으로 1000층 깊이를 달성한 사례로, 기존 PC가 깊이가 증가할수록 정확도가 떨어지는 것과 대조적이다. CIFAR-10, Tiny ImageNet 등에서도 효과적이며, ResNet-10 학습 시 기존 PC보다 성능이 향상되었다.