AMP 보정으로 학습·테스트 오차 일치

**Decoupled Descent(DD)**는 데이터 재사용 편향으로 학습 오차와 테스트 오차가 달라지는 문제를 줄이기 위해 제안된 학습 방법이다.

이론적으로 분석 가능한 고차원 Gaussian mixture 모델과 맞춤형 2층 신경망을 대상으로, Approximate Message Passing(AMP)의 Onsager 보정을 적용해 각 파라미터 반복 단계에서 학습 오차가 테스트 오차를 점근적으로 추적하도록 설계했다.

100회 시뮬레이션한 고차원 XOR 문제에서 일반적인 full-batch gradient descent와 DD의 학습·테스트 오차 곡선을 비교했으며, DD는 두 오차의 일치를 보장하는 인증서 생성을 목표로 한다.

이 성질은 다음과 같은 활용 가능성을 제시한다.

• 학습 중단 시점의 이론적 결정
• 하이퍼파라미터 조정
• 학습 오차를 활용한 테스트 성능 추정

현재 결과는 제한된 모델과 데이터 분포에 대한 이론 연구로, SGD·대규모 신경망·일반적인 모델 구조에 적용하려면 추가 연구가 필요하다.