산업용 제어 시스템을 활용한 멀티태스크 머신러닝 조정 방법

기존의 멀티태스크 학습(Multitask Learning)은 매 단계마다 모든 목표의 그래디언트를 혼합하는 per-step mixing 방식을 사용했다. 하지만 이 방식은 목표 간의 방향이 충돌할 때 Disagreement(부정적 전이), Drift(목표 중요도 변화 추적 실패), Drought(특정 목표의 가중치 고갈)와 같은 세 가지 주요 실패를 야기한다.

Amazon 연구진이 제안한 ControlG 프레임워크는 산업용 제어 시스템의 PID(Proportional-Integral-Derivative) 컨트롤러 개념을 도입했다. 모든 목표를 동시에 섞는 대신, 계산 자원을 각 목표에 순차적이고 동적으로 할당하는 방식을 취한다.

ControlG는 세 가지 시간 척도에서 작동한다:

• 스펙트럼 수요 및 간섭 지표를 통한 목표별 난이도 추정
• Log-hypervolume sensitivity를 이용한 에포크별 계산 할당 최적화
• PID 피드백 루프를 통한 할당 계획 추적

이러한 접근 방식은 단순한 그래디언트 조작법보다 뛰어난 성능을 보인다. 특히 노드 클러스터링 작업에서 ControlG는 기존의 AutoSSL, WAS, PCGrad, CAGrad 등의 정교한 방법론보다 우수한 성능을 기록하며, 멀티태스크 조정을 근본적인 시간적 할당(Temporal Allocation) 문제로 재정의했다.