네 가지 ML 난제, 같은 문제
Four separate ML problems (adversarial examples, texture bias, corruption fragility, robustness-accuracy tradeoff) might all be the same problem
네 가지 ML 실패 모드를 하나의 supervised learning 이론으로 묶는 arXiv 프리프린트가 나왔다.
ER M이 학습한 표현에는 필연적 기하학적 블라인드 스폿이 남는다고 주장한다. 훈련 데이터에서 라벨과 상관되지만 테스트에서는 잡음이 되는 방향을 encoder가 완전히 무시할 수 없고, 그래서 내부 Jacobian 민감도가 0이 되지 않는다는 설명이다.
이 하나의 정리가 네 가지 실패 모드를 함께 설명한다.
- adversarial examples: 스퓨리어스 고주파 특징에 민감해 작은 교란에도 예측이 흔들림
- texture bias: shape보다 texture가 라벨을 더 잘 설명해 texture를 계속 사용함
- corruption fragility: blur, noise 같은 corruption이 사라지지 않는 취약 방향을 건드림
- robustness-accuracy tradeoff: blind spot을 줄일수록 기존 정확도에 쓰던 예측력을 잃음
논문은 **Trajectory Deviation Index(TDI)**도 제안한다. PGD adversarial training은 Jacobian Frobenius 2.91를 가져도 clean-input geometry는 가장 나빴고 TDI 1.336이었다. 반면 PMH는 TDI 0.904를 보였다.
저자들은 이 현상이 7개 vision task, BERT/SST-2, ImageNet ViT-B/16 백본(CLIP, DINO, SAM)에서도 관찰됐다고 보고했다. 언어모델 크기가 66M → 340M으로 커질수록 blind-spot ratio는 0.860 → 0.765 → 0.742로 낮아졌고, task-specific ERM fine-tuning은 이를 54% 악화시켰다. PMH는 추가 학습 항 1개로 이를 11배 개선했다고 주장한다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.