신경망의 치명적 비트

가중치의 sign bit 몇 개만 뒤집어도 신경망은 급격히 무너진다. **Deep Neural Lesion (DNL)**은 학습 데이터나 최적화 없이, 저장된 가중치에 대한 쓰기 권한만으로 critical parameter를 찾아 공격하는 data-free 기법이다. 펌웨어 익스플로잇, rootkit, DMA 공격, Rowhammer 같은 현실적 침해 시나리오를 전제로 한다.

공격 방식은 두 갈래다.

• Pass-Free DNL: 가중치 크기와 초기 레이어 우선순위만으로 대상을 고른다.
• Enhanced 1-Pass DNL: 무작위 입력에 대한 한 번의 forward/backward pass로 선택을 정교화한다.

가중치 크기 기반 선택과 초기 레이어 타깃팅은 랜덤 flip보다 훨씬 강했고, top-k magnitude selection과도 비슷한 성능을 냈다.

비전 모델에서는 60개 분류기, 그중 48개 ImageNet 모델(timm, Torchvision)을 평가했다. 모델 규모가 커져도 취약성은 사라지지 않았고, 아키텍처보다 초기 레이어가 더 중요했다.

• ResNet-50: 2번의 flip으로 76.1% → 0.0%, 정확도 99.8% 하락
• EfficientNet-B7: 3번의 flip으로 95%+ 하락
• Vision Transformer: 초기 block이 핵심이며 CNN과 유사한 패턴

언어 모델도 크게 다르지 않다. Qwen3-30B-A3B는 서로 다른 expert의 2개 flip만으로 추론 정확도가 **78% → 0%**로 떨어졌고, Qwen3-4B는 14개 flip으로 전체 정확도가 사라졌다. Nemotron 8B는 첫 5개 block의 32개 flip만으로 완전히 붕괴했다.

• BERT, RoBERTa: encoder의 초기 레이어가 여전히 가장 취약
• 공격받은 모델은 근접한 오답보다 반복적이고 무의미한 텍스트를 출력
• DNL은 quantization, pruning, 단순 checksumming을 쉽게 우회한다

방어는 전체를 보호하는 대신 핵심 weight를 선별적으로 hardening하는 방식으로 접근한다. 전체의 0.1-1% 수준의 가장 취약한 weight만 지켜도 상당한 복원력을 얻을 수 있지만, 데이터가 필요 없는 공격이라 탐지와 귀인은 여전히 어렵다.