심층 저랭크 잔차 증류로 사전학습 가중치 잠그기

DLR-Lock은 사용자가 사전학습 언어 모델의 가중치를 확인하고도 무단 파인튜닝이나 재배포 목적의 수정을 하기 어렵게 만드는 방어 기법이다. 모델 제공자는 각 사전학습 MLP를 비슷한 파라미터 수의 **심층 저랭크 잔차 네트워크(DLR-Net)**로 교체한다.

DLR-Net은 추론보다 역전파에서 더 큰 비용이 발생하도록 설계된다. 학습 과정에서 깊이에 비례해 활성화 메모리가 늘어나고, 순전파보다 역전파 오버헤드가 disproportionately 커져 일반적인 파인튜닝을 어렵게 만든다.

핵심 특징은 다음과 같다.

• 모듈 단위 지식 증류로 DLR-Net을 효율적으로 학습
• 역전파 시 깊이에 비례하는 활성화 메모리 부담
• 기존 구조와의 불일치로 표준 파인튜닝의 최적화 난이도 증가
• 방어 전략을 모두 아는 적응형 공격자에도 대응
• 원래 모델의 추론 성능과 기능은 유지

연구진은 LLM 실험을 통해 DLR-Lock이 단순한 구조적 방어를 넘어, 모델 가중치와 아키텍처를 완전히 분석하는 공격자에게도 효과적으로 작동한다고 평가했다.