AI BriefingERM·PGD가 드러낸 기하학적 맹점
We mathematically proved that standard ERM guarantees a geometric blind spot, and why PGD makes it worse. Here is the mechanics of why it happens.
·2026.04.28 12:34
핵심 내용
표준 ERM의 구조적 맹점과 PGD 악화를 보인 이론 연구다.
자세히 보기
표준 ERM으로 학습한 encoder는 라벨과 상관된 방향, 심지어 테스트 시에는 nuisance가 되는 방향까지도 0이 아닌 sensitivity를 유지해야 한다. 저자들은 이를 geometric blind spot으로 정의한다.
- 이 정리는 proper scoring rules, 다양한 architecture, 데이터 규모 전반에서 성립한다고 주장한다.
- 현상은 non-robust features, texture bias, corruption fragility, robustness-accuracy tradeoff를 하나의 틀로 묶는다.
- PGD adversarial training은 Jacobian Frobenius norm을 낮출 수 있지만, 입력 기하는 오히려 악화시킬 수 있다. 예시로 TDI 1.336 vs. ERM 1.093을 제시했다.
- 새 지표 **TDI (Trajectory Deviation Index)**는 CKA, intrinsic dimension, Jacobian Frobenius norm만으로는 놓치는 기하학적 비등방성을 측정한다.
- 실험은 7개 태스크, BERT/SST-2, 그리고 CLIP/DINO/SAM 계열 backbone인 ImageNet ViT-B/16에서 blind spot이 관측됐고, foundation-model scale과 task-specific fine-tuning이 커질수록 더 심해진다고 보고했다.
- 제안한 PMH는 추가 학습항 1개만으로 architecture 변경 없이 TDI를 낮췄고, blur/brightness/contrast 같은 non-Gaussian corruption에서도 더 나은 결과를 냈다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
