AI를 위한 ‘diff’ 도구: 새 모델의 행동 차이를 찾아내기

AI 모델 평가는 기존 벤치마크로는 잡히지 않는 unknown unknowns를 놓치기 쉽다. 이를 해결하기 위해, 모델 업데이트 때 쓰는 코드의 diff처럼 두 모델의 차이만 자동으로 드러내는 cross-architecture model diffing을 제안한다.

핵심은 **Dedicated Feature Crosscoder(DFC)**다. 기존 crosscoder가 공통 개념만 잘 맞추는 반면, DFC는 shared / English-only / French-only처럼 분리된 구조를 가져서 한 모델에만 있는 행동 특성도 놓치지 않게 설계됐다.

이 방식은 새 모델에서 나타난 행동을 직접 찾아낸 뒤, steering으로 그 특성을 억제하거나 증폭해 실제 인과 관계인지 검증한다. 그 결과 다음과 같은 모델 전용 기능이 확인됐다.

• Qwen3-8B와 DeepSeek-R1-0528-Qwen3-8B의 Chinese Communist Party alignment: 억제하면 천안문 관련 질문에 더 답하고, 증폭하면 친정부 발화가 강해진다.
• Meta Llama-3.1-8B-Instruct의 American exceptionalism: 증폭하면 미국 우월성 서사가 강화된다.
• OpenAI GPT-OSS-20B의 Copyright Refusal: 억제하면 저작권 거부가 약해지고, 증폭하면 과도하게 거부한다.

저자들은 이 기능들이 어떻게 생겼는지까지 단정하지는 않는다. 의도된 학습 결과일 수도 있고, 데이터에서 비의도적으로 생긴 행동일 수도 있다.

정리하면, DFC는 모든 위험을 잡는 만능 도구는 아니지만, 수천 개의 후보 feature 중에서 새 모델에만 나타나는 차이를 높은 재현율로 걸러내는 스크리닝 도구다. 특히 모델 업데이트 전후를 비교하면, GPT-4o의 sycophancy처럼 새로 생긴 문제를 더 빨리 포착할 가능성이 있다.