AI Briefing연구 결과 LLM, PHP 현대화 중 32~51개 정상 파일 파손
·2026.11.02 06:22
핵심 내용
최고 LLM은 100개 파일 중 59개만 통과시켜 원본 83개보다 열세였다
자세히 보기
- 프로젝트 컨텍스트나 실행 피드백 없이 100개의 레거시 PHP 파일을 PHP 8.3으로 현대화하는 작업에서 5가지 LLM을 평가함
- 변경하지 않은 원본 파일은 630개 숨겨진 행동 검사에서 83개가 통과했으나, 가장 성능이 좋았던 LLM은 59개만 통과함
- LLM은 최대 10개 파일을 수리하는 동안 32~51개의 정상 작동 파일을 깨뜨렸으며, 규칙 기반 도구 Rector(7개 파손, 6개 수리)보다 성능이 현저히 떨어짐
- PHP 8.3 호환성을 위해 변경이 필요 없는 파일에서 LLM은 코드의 36~60%를 깨뜨린 반면 Rector는 8%만 깨뜨림
- 대부분의 회귀 오류는 PHP가 거부하는 타입 선언으로 인해 파일이 로드되지 않는 것에서 발생했으며, 이를 피하는 데 프로젝트 컨텍스트는 불필요함
- 연구진은 LLM 기반 현대화 평가 시 변경 없음 기준선과 비교하고, 현대화 및 행동 보존을 별도로 보고할 것을 권장함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
