AI 강건성 기법의 수학적 통합 원리 규명
10 years of AI robustness tricks (PGD, RLHF, Data Augmentation) are actually computing the same hidden matrix. We proved what happens when you get it wrong.
다양한 AI 강건성 기법이 동일한 '배포 노이즈 공분산 행렬'을 추정한다는 사실을 수학적으로 증명했다.
PGD, RLHF, 데이터 증강 등 지난 10년간 서로 다른 연구 분야에서 다뤄온 AI 강건성(Robustness) 기법들이 사실은 동일한 대상인 **배포 노이즈 공분산 행렬(deployment nuisance covariance matrix, $\Sigma_{task}$)**을 추정하려 한다는 사실이 수학적으로 증명되었다.
연구의 핵심인 Theorem G는 정규화 행렬이 실제 데이터의 변동 방향 중 단 하나라도 놓칠 경우, 모델이 해당 **기하학적 사각지대(geometric blind spot)**를 악용하여 학습 손실을 최소화한다는 점을 지적한다. 이는 단순히 데이터 양을 늘리거나 모델 파라미터를 키우는 것만으로는 해결할 수 없는 근본적인 한계다.
이 이론을 실제 모델에 적용한 결과 다음과 같은 성과를 거두었다:
- LLM 정렬(Alignment): Qwen2.5-7B 모델에서 스타일 편향으로 인한 **아첨 현상(sycophancy)**을 38.5%에서 13.5%로 대폭 감소시켰다.
- 적대적 학습(Adversarial Training): 표준 PGD 적대적 학습 대비 성능을 14.8% 향상시켰다.
해당 방법론은 13개의 블록과 5개의 모달리티에 걸쳐 검증되었으며, 단 12줄의 PyTorch 코드로 구현 가능하다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.