Apple 연구진, 필요할 때만 개입하는 동적 스케일링 Activation Steering 기법 DSAS 공개

기존 Activation Steering 기법은 모든 입력에 대해 균일하게 개입하여, 스티어링이 불필요한 상황에서 모델 성능을 저하시키는 문제가 있었다. Apple 연구진은 이러한 한계를 극복하기 위해 스티어링의 '시기'와 '방법'을 분리하는 Dynamically Scaled Activation Steering (DSAS) 프레임워크를 제안했다.

DSAS의 작동 원리 및 특징

DSAS는 생성 시점에 컨텍스트에 의존적인 스케일링 팩터를 계산하여, 원치 않는 행동이 감지될 때만 스티어링 강도를 선택적으로 조절한다. 이 방법은 특정 스티어링 알고리즘에 종속되지 않으며(method-agnostic), 기존 스티어링 함수와 엔드투엔드(end-to-end)로 함께 최적화될 수 있다.

성능 개선 및 적용 범위

연구 결과 DSAS는 기존 스티어링 기법 단독 사용 대비 **독성 완화(toxicity mitigation)**와 유틸리티 보존(utility preservation) 사이의 파레토 프론트(Pareto front)를 일관되게 개선한다. 또한 텍스트-이미지 확산 모델(text-to-image diffusion model)에도 적용되어 특정 개념의 변조가 가능함을 입증했으며, 어떤 토큰이 스티어링을 필요로 하는지 식별함으로써 해석 가능성(interpretability)을 높이고 계산 오버헤드는 최소화했다.