SlopCodeBench, 15개 코딩 에이전트 코드 품질 대부분의 실행에서 악화, 최고 strict solve rate 14.8%

• SlopCodeBench(arXiv 2603.24755, UW–Madison)는 여러 checkpoint에 걸쳐 진화하는 문제를 15개 코딩 에이전트를 대상으로 평가하며, 이전 대화 기록 없이 코드베이스만 제공함
• 15개 모델 모두 36개 문제를 완전히 해결하지 못하고, 최고 strict checkpoint 해결률은 GPT 5.5의 14.8%, Opus 4.6의 core test 통과율이 67.3%로 가장 높음
• 코드 품질이 대부분의 실행에서 악화되고, 구조적 열화가 77%의 실행에서 증가하고, 장황함이 75.5%의 실행에서 증가하며, 에이전트 코드는 473개 사람이 유지보수한 Python 저장소 코드보다 2.3배 더 장황함
• 특정 문제에서 Opus 4.7의 main()은 8개 checkpoint 동안 사이클로매틱 복잡도 13에서 92로, 38줄에서 240줄로 증가하며 모든 단계에서 악화함

프롬프팅 효과

• Anti-slop과 plan-first 프롬프트가 초기 장황함과 열화를 최대 약 1/3까지 줄임
• 시간 경과에 따른 열화를 막지 못하고, checkpoint당 비용이 평균 약 12% 상승함
• 해당 프롬프트는 GPT 모델에서만 테스트함