LLM '슬롭' 원인 SFT/DPO로 지목, LoRA로 83% 완화

LLM의 전형적인 어시스턴트 스타일인 '슬롭(slop)'의 기원을 추적한 연구가 Supervised Fine-Tuning(SFT) 단계에서 특정 수사적 구조가 도입되고 Direct Preference Optimization(DPO) 단계에서 이것이 증폭된다는 사실을 밝혔다. Qwen3-4B-Instruct를 활용한 분석에서 평균 차이 방향은 과장된 글과 평범한 텍스트를 구분하며, 관용구 기반 슬롭 점수와 최대 0.82의 상관관계를 보였다. Logit-lens 분석에서는 장엄하고 추상적인 어휘가 평범한 회피 표현과 대립하는 레지스터 축을 식별했으며, 'not X, but Y' 같은 다국어 방향은 중국어 '而是'를 유도했다.

학습 단계별 영향

공개된 각 단계의 OLMo 2 1B 측정 결과, 기본 모델은 슬롭 방향(중간 층에서 코사인 유사도 0.90~0.97)을 내재하고 있으나 평범한 쪽에 가까운 작문을 한다. SFT는 수사적 구조를 도입하고, DPO는 유행어와 마크다운 형식을 통해 슬롭 점수를 두 배로 높인다. OLMo의 선호 데이터 분석 결과, 3,000개 쌍 중 **57%**에서 더 슬롭한 응답이 선택된 것으로 나타났다.

LoRA 기반 완화

12층부터 23층까지 고정 벡터를 차감하면 좁은 KL 예산(~0.4 nats/token) 내에서 구조적 관용구를 줄일 수 있다. 이 스티어링을 rank-16 LoRA로 증류하면 시스템 프롬프트 없이 슬롭 점수를 83% 낮추며, 직접 스티어링보다 낮은 KL 발산과 QA 성능 저하 없는 결과를 보인다. 연구는 자체 정규식 검출기 의존, 두 모델만 테스트, 인간 평가 부재 등의 한계를 언급했다.