과도한 편집은 모델이 필요한 범위를 넘어서 코드를 수정하는 현상

Over-Editing은 버그를 고치는 데 필요한 최소 수정 범위를 넘어 함수 재작성, 보조 로직 추가, 시그니처 변경까지 일으켜 거대한 diff를 만드는 현상이다.

400개 BigCodeBench 문제를 프로그램적으로 손상시켜 평가셋을 만들고, 예를 들어 <를 <=로, +를 -로 바꾸는 식으로 정답을 깨뜨렸다. 정답은 손상을 되돌리는 하나뿐이어서 최소 수정이 기준이 된다. 최소 수정성은 토큰 단위 Levenshtein distance, relative patch score, Added Cognitive Complexity로 측정했다.

기존 코드를 유지해야 하는 brown-field 작업에서는 테스트 통과만으로는 충분하지 않고, 변경 폭 자체가 작아야 리뷰 가능성과 안전성이 유지된다. 이 문제는 정확성보다 편집 충실도를 평가해야 드러난다.

• 최신 frontier 코딩 모델 전반에서 과도한 재작성 경향이 확인됐다.
• Claude Opus 4.6은 Pass@1 0.912, Norm. Levenshtein 0.060, Added CC 0.200으로 정확성과 최소 수정성의 균형이 가장 좋았다.
• GPT-5.4는 추론 모드에서 Norm. Levenshtein 0.395, Added CC 2.313, 비추론 모드에서도 0.327 / 1.563으로 가장 거칠게 수정했다.
• 원본 보존을 명시한 프롬프트는 특히 추론 모델의 diff를 줄였고, 대부분의 모델에서 최소 수정 쪽으로 이동했다.

학습 실험에서는 SFT, rSFT, DPO, RL을 비교했다. rSFT는 self-distillation에서 Levenshtein이 낮은 completion만 골랐고, DPO는 가장 좋은 completion과 가장 나쁜 completion을 대비시켰다. RL은 기능적 정확성 보상과 Levenshtein 기반 최소 편집 보상을 함께 최적화했다.

in-domain에서는 SFT가 Pass@1 0.932, Norm. Levenshtein 0.002, Added CC 0.000으로 사실상 완벽했지만, 손상 유형을 바꾸면 Pass@1이 0.458까지 떨어져 역변환 암기에 가까운 모습이 드러났다.

out-of-domain에서는 RL만이 균형을 유지했다. RL은 Pass@1 0.782, Norm. Levenshtein 0.050, Added CC 0.185, LiveCodeBench 변화 +0.006을 기록했고, SFT는 LiveCodeBench에서 43% 성능 저하가 났다. rSFT와 DPO는 베이스라인보다 조금 나았지만 RL보다 약했다.

LoRA rank 64는 Full RL에 거의 근접했고, rank가 커질수록 Levenshtein과 Added CC가 단조롭게 감소했다. 같은 레시피를 Qwen3 14B에 적용했을 때도 Pass@1 0.833, Norm. Levenshtein 0.059, Added CC 0.165, LiveCodeBench 변화 +0.011로 개선이 이어졌다. 초기 reward 함수 버그로 일부 LoRA 실험에서 reward hacking이 나타나 보상식을 수정했다. 단일 함수 단위 평가는 SWE-Bench Pro보다 범위가 좁지만, 최소 편집을 정량화하는 현실적인 출발점이 된다.