네 가지 ML 난제, 같은 문제

ER M이 학습한 표현에는 필연적 기하학적 블라인드 스폿이 남는다고 주장한다. 훈련 데이터에서 라벨과 상관되지만 테스트에서는 잡음이 되는 방향을 encoder가 완전히 무시할 수 없고, 그래서 내부 Jacobian 민감도가 0이 되지 않는다는 설명이다.

이 하나의 정리가 네 가지 실패 모드를 함께 설명한다.

• adversarial examples: 스퓨리어스 고주파 특징에 민감해 작은 교란에도 예측이 흔들림
• texture bias: shape보다 texture가 라벨을 더 잘 설명해 texture를 계속 사용함
• corruption fragility: blur, noise 같은 corruption이 사라지지 않는 취약 방향을 건드림
• robustness-accuracy tradeoff: blind spot을 줄일수록 기존 정확도에 쓰던 예측력을 잃음

논문은 **Trajectory Deviation Index(TDI)**도 제안한다. PGD adversarial training은 Jacobian Frobenius 2.91를 가져도 clean-input geometry는 가장 나빴고 TDI 1.336이었다. 반면 PMH는 TDI 0.904를 보였다.

저자들은 이 현상이 7개 vision task, BERT/SST-2, ImageNet ViT-B/16 백본(CLIP, DINO, SAM)에서도 관찰됐다고 보고했다. 언어모델 크기가 66M → 340M으로 커질수록 blind-spot ratio는 0.860 → 0.765 → 0.742로 낮아졌고, task-specific ERM fine-tuning은 이를 54% 악화시켰다. PMH는 추가 학습 항 1개로 이를 11배 개선했다고 주장한다.