LLM이 전통적인 하이퍼파라미터 최적화(HPO) 알고리즘을 이길 수 있는가?

LLM 에이전트가 학습 코드를 직접 수정하며 하이퍼파라미터를 최적화하는 autoresearch 프레임워크를 통해 LLM 기반 방식과 전통적인 HPO 알고리즘을 비교 연구했다.

연구 결과, 고정된 탐색 공간 내에서는 CMA-ES나 TPE 같은 전통적인 방식이 LLM 기반 에이전트보다 일관되게 우수한 성능을 보였다. LLM은 최적화 상태를 추적하는 데 어려움을 겪는 반면, 전통적 방식은 LLM이 가진 도메인 지식이 부족하다는 단점이 있다.

이를 해결하기 위해 제안된 하이브리드 방식인 Centaur는 다음과 같은 특징을 가진다:

• CMA-ES의 내부 상태(평균 벡터, 스텝 크기, 공분산 행렬 등)를 LLM과 공유함
• 0.8B 규모의 소형 LLM만으로도 모든 전통적/순수 LLM 방식보다 뛰어난 성능을 달성함
• LLM은 최적화 알고리즘을 대체하는 것이 아니라, 상호 보완적인 역할을 수행할 때 가장 효과적임