LG AI Research: Neural Architecture Search(NAS) 리뷰

Neural Architecture Search(NAS)는 AutoML의 한 분야로, 특정 목표에 최적화된 신경망 구조를 자동으로 탐색하는 기술이다. 기존에는 연구자가 데이터와 목적에 맞춰 직접 구조를 설계했으나, NAS는 Search Space(활성화 함수, 레이어 수 등)와 Search Strategy(강화학습, 진화적 방법 등)를 활용해 최적의 구조를 찾아낸다.

초기 NAS의 가장 큰 단점은 반복적인 실험으로 인한 막대한 시간과 비용이었다. 이를 해결하기 위해 Gradient-Based NAS를 안정화하거나, Performance Predictor를 통해 학습을 완전히 수행하지 않고도 구조의 성능을 예측하는 연구가 활발히 진행되고 있다.

이번 NeurIPS 2021에서는 NAS와 관련하여 총 15건의 논문이 채택되었으며, 특히 성능 예측기(Predictor)의 효율성을 다룬 연구들이 주목받고 있다. 주요 접근 방식으로는 Quantization, Meta Learning, Graph Neural Network, Ensemble 등이 있다.