유전 알고리즘이 찾은 딥러닝 옵티마이저

유전 알고리즘으로 딥러닝 옵티마이저를 자동 탐색하는 프레임워크를 제시했다.

옵티마이저는 다음 원시 업데이트 조합을 genome으로 인코딩했다.

• gradient
• momentum
• RMS normalization
• Adam-style adaptive terms
• sign-based updates 하이퍼파라미터와 스케줄 옵션도 함께 탐색했다.

50세대 동안 개체수 50으로 여러 vision task를 돌린 결과, 진화된 옵티마이저는 Adam 대비 종합 fitness 2.6% 개선을 기록했다. CIFAR-10에서는 7.7% 상대 개선을 달성했다.

발견된 설계는 sign-based gradient term과 adaptive moment estimation을 결합하고, Adam보다 낮은 모멘텀 계수(β1=0.86, β2=0.94)를 사용했다. 또한 bias correction을 끄고 learning rate warmup과 cosine decay를 활성화했다.

연구진은 진화 탐색이 수작업 옵티마이저와 다른 설계 원리를 찾아낼 수 있음을 보였고, 코드를 공개했다.