DeepSeek-V4-Flash로 LLM 조향(Steering)이 다시 흥미로워졌다

DwarfStar 4는 llama.cpp를 DeepSeek-V4-Flash 전용으로 최적화한 프로젝트로, 로컬 환경에서 LLM 조향(Steering) 실험을 용이하게 만듭니다.

LLM 조향은 모델의 특정 개념(예: "간결하게 답하기")을 나타내는 활성화 벡터를 추출하여, 추론 과정 중 해당 층에 더해줌으로써 모델의 행동을 직접 제어하는 기술입니다.

주요 작동 방식:

• 단순 조향 벡터: 특정 프롬프트 쌍(일반 vs 특정 요청)의 활성화 차이를 계산하여 벡터를 생성하고 이를 추론 시 더합니다.
• 정교한 특징 추출: Sparse Autoencoders와 같은 기술을 사용하여 모델 내부의 더 깊은 행동 패턴(feature)을 추출하여 제어합니다.

조향의 가치와 한계:

• 장점: 프롬프트 엔지니어링보다 더 직접적인 "제어판" 역할을 할 수 있으며, 말투나 성실도 같은 속성을 슬라이더처럼 조절할 수 있는 가능성을 제시합니다. 또한, 많은 토큰이 필요한 개념을 하나의 벡터로 압축해 컨텍스트 창을 절약하는 용도로도 활용될 수 있습니다.
• 한계: 모델의 가중치와 활성화에 접근해야 하므로 API 사용자에게는 불가능하며, 로컬 실행이 필수적입니다. 또한, 많은 경우 프롬프트 수정이 더 간단하고 효율적일 수 있습니다.