LG AI Research: NeurIPS 2021 연구 요약 - Part 3: Neural Architecture Search 리뷰

Neural Architecture Search(NAS)는 특정 목표를 위해 최적의 신경망 구조를 탐색하는 AutoML의 한 분야다. 기존에는 사람이 직접 설계했으나, 데이터나 목적이 바뀔 때마다 적절한 구조를 찾는 데 많은 비용과 시간이 소요되는 한계가 있었다.

NAS는 탐색 공간(Search Space) 내에서 최적의 구조를 찾기 위해 다음과 같은 과정을 거친다.

• 탐색 공간 정의: 활성화 함수, 레이어 수, 노드 수 등 선택 가능한 옵션 설정
• 탐색 전략: 강화 학습(Reinforcement Learning)이나 진화 알고리즘(Evolutionary Methods)을 사용하여 구조 선택
• 성능 추정: 선택된 구조의 성능을 측정하고 이를 다시 탐색에 반영

현재 NAS 연구의 핵심 과제는 성능 추정에 드는 막대한 비용을 줄이는 것이다. 이를 위해 다음과 같은 기술들이 제안되고 있다.

• 그래디언트 기반 NAS 안정화: 가중치 웜업(Weights warm-up), 정규화 및 손실 지형 평활화(Loss landscape smoothing)
• NAS 속도 향상: 성능 예측기(Performance predictor), 프록시 작업(Proxy tasks), 순차적 탐색을 통한 최적화 가속
• 최종 성능 개선: 탐색 과정에서 최적 구조 도출, 하이퍼파라미터 및 데이터 증강 활용

특히 전체 공간을 모두 학습하는 대신, 일부만 학습하거나 아예 학습하지 않고도 구조의 순위를 예측하는 성능 예측기(Predictor) 기반의 연구가 주목받고 있다.