Constraint Decay: 백엔드 코드 생성 시 LLM Agent의 취약성

LLM 에이전트가 느슨한 사양에서는 뛰어난 성능을 보이지만, 아키텍처 패턴, 데이터베이스, ORM과 같은 엄격한 구조적 제약 조건이 포함된 프로덕션급 소프트웨어 개발에서는 한계를 보입니다.

연구진은 구조적 요구사항이 누적될수록 에이전트의 성능이 급격히 저하되는 'Constraint Decay(제약 조건 붕괴)' 현상을 발견했습니다. 실험 결과, 유능한 설정의 에이전트도 기본 작업 대비 assertion pass rate(단언문 통과율)가 평균 30점 하락했으며, 일부 설정은 성능이 거의 0에 수렴했습니다.

프레임워크의 특성에 따라 성능 차이도 크게 나타났습니다.

• Flask와 같이 명시적이고 단순한 프레임워크에서는 비교적 높은 성공률을 보였습니다.
• FastAPI, Django와 같이 관례(convention)가 복잡한 환경에서는 성능이 현저히 낮았습니다.

주요 오류 원인은 데이터 레이어 결함으로 분석되었습니다. 잘못된 쿼리 구성이나 ORM 런타임 위반이 에이전트의 성능을 저해하는 핵심적인 원인으로 지목되었습니다.