Functional GD의 adaptive representations, 수렴 문제 해결하고 신경망 능가

연구진이 NeurIPS에 채택된 새로운 방법론인 Adaptive Representations를 적용한 Functional Gradient Descent를 소개했다. Functional GD 알고리즘은 일반적으로 신경망보다 성능이 우수하지만, functional gradient가 무한 차원이어서 정확한 구현이 어렵다. 이러한 gradient의 단순 근사화는 종종 잘못된 위치에서 수렴하는 문제를 일으킨다.

이번 연구는 adaptive representations라고 불리는 광범위한 근사 스킴을 공식화했다. 이 스킴들은 즉시 구현 가능하도록 설계되었으며, global minimizer로 수렴함을 증명한다. 다양한 환경에서 resulting algorithms는 해당 신경망보다 종종 order of magnitude만큼 성능이 우수하다. 저자들은 이 연구가 초기 단계임을 인정하면서도 그 잠재력이 크다고 강조했다.