LLM 가중치 0.05% 미만만 제로화해도 전체 미세조정과 동등한 성능

The Surprising Effectiveness of Deleting Weights in LLM Post-Training

·2026.11.11 04:44

핵심 내용

LLM 가중치 0.05% 미만만 제로화해도 전체 미세조정과 동등한 성능을 달성했다

사전 학습된 LLM 가중치의 0.05% 미만만 제로화해도 강화학습, 지도형 미세조정, 온폴리시 증류에서 전체 미세조정(FFT) 성능과 동등함
학습된 바이너리 마스크는 해당 FFT 체크포인트보다 수백에서 수천 배 작음
강화학습 환경에서 Deletion Tuning은 기존 작업 정확도를 베이스 수준으로 유지하는 반면, FFT, LoRA, 랜덤 스파스 미세조정은 최대 5.4포인트 하락함
안정 랭크, 스펙트럼 드리프트, 주 가중치 겹침을 활용한 기하학적 분석 결과, Deletion Tuning이 LoRA와 랜덤 스파스 미세조정보다 FFT와 가장 유사함

이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.

AI 처리 방식을 확인하거나, 요약 오류와 출처 표기 문제, 삭제 요청을 문의 · 건의로 알려주세요.