Catalyst, 단일 미분으로 하이퍼파라미터 최적화 성공

Catalyst 프로젝트가 50개의 AI 학습 제어 변수(hyperparameters)에 대해 단일 bounded Catalyst-guided update를 적용하여, 학습에 사용되지 않은 5개 seed 전체에서 평균 **27.8%**의 validation loss 감소를 달성했다고 밝혔다.

실험 설정 및 방법론

• 대상: rank-2 LoRA adapters가 적용된 소형 사전 학습 네트워크
• 변수: learning rate schedule, Adam betas, weight decay 등 50개의 continuous control 변수
• 검증: 3개의 development seed로 미분 계산 후, 5개의 unseen seed(10~14)로 최종 테스트 수행
• 하드웨어: Intel i5-11400H CPU 1코어, GPU 미사용, Rust 기반 compiled function 활용

주요 결과

• 성능 개선: Held-out mean validation loss가 0.00958에서 0.00692로 감소
• 일관성: 5개 unseen seed 모두에서 개선 확인 (최대 -38.0%, 최소 -10.7%)
• 민감도 분석: beta2, ema_decay, beta1 순으로 높은 영향력 보유
• 검증: 101개의 verification points를 통해 도함수 정확성 확인

의의 및 한계

• 의의: 단일 stochastic trajectory가 아닌 다중 seed 기반 미분으로 일반성 확보, AI 엔지니어링의 시행착오 감소
• 한계: 전역 최적(global optimal) 발견이 아닌 국소적 민감도(local sensitivity) 측정, 대규모 모델 확장성 미검증
• 비교: 일반적인 최적화 탐색(best-configuration search)은 직접 알려주지 않는 제어 변수의 방향성과 상대적 중요성에 대한 측정된 정보를 제공