Sakana AI, 역전파 없는 Error Diffusion 연구 발표

Sakana AI 연구팀은 생물학적 타당성을 높이기 위해 **역전파(Backpropagation)**의 가중치 수송 문제를 해결하고, 뉴런의 흥분/억제 역할을 분리하는 **Dale의 원리(Dale's principle)**를 엄격히 준수하는 Error Diffusion(ED) 학습 규칙을 제안했다.

핵심 내용은 다음과 같다:

• 이중 스트림 아키텍처: 흥분성(Excitatory)과 억제성(Inhibitory) 뉴런 집단을 분리한 구조를 설계하고, **모듈로 오차 라우팅(modulo error routing)**을 통해 다중 클래스 분류 및 강화학습으로 확장했다.
• 성능 입증: ED를 CNN에 적용하여 MNIST 96.7%, CIFAR-10 61.7%의 정확도를 달성했으며, 이는 기존의 평탄화된 MLP 기반 연구보다 높은 수치다.
• 강화학습 적용: ED를 **PPO(Proximal Policy Optimization)**와 결합한 ED-PPO가 역전파 기반 모델과 대등한 성능을 보임을 입증했다.

이 연구는 가중치 수송 문제와 부호 제약(sign constraint)이라는 두 가지 생물학적 제약을 동시에 만족시키며, 지도 학습과 강화학습 모두에서 경쟁력 있는 성능을 낼 수 있음을 보여주었다.