AI 위임과 장기 작업 신뢰성에 대한 추가 설명

최근 논문 LLMs Corrupt Your Documents When You Delegate는 AI가 문서·스프레드시트·코드·구조화 파일을 여러 단계에 걸쳐 수정할 때 의미가 얼마나 보존되는지 보는 DELEGATE-52 벤치마크를 제시했다. Microsoft Research는 이 작업이 전체 모델 능력이나 과제 성공, 사용자 결과를 재단하려는 게 아니라, 장기 위임 워크플로에서의 정보 보존을 진단하는 스트레스 테스트라고 다시 강조했다.

평가에는 변환과 역변환을 반복하는 체인형 과제와 도메인별 semantic parsing이 쓰였다. 형식 변화가 아니라 의미 변화만 집계한 결과, 프런티어 모델들은 드물지만 중요한 오류를 누적했고 20회 반복 뒤 artifact fidelity가 대략 19~34% 떨어졌다.

• Python 워크플로는 평균 1% 미만의 저하로 상대적으로 견고했다.
• 간소화된 agentic harness에 Python 실행과 파일 작업 도구를 붙인 설정에서도 저하는 완전히 사라지지 않았다.
• 다만 이 수치는 human verification이 제한된 실험 결과이며, 검증 루프·오케스트레이션·도메인별 툴을 갖춘 production 시스템 전체를 대표하지는 않는다.

메시지는 분명하다. 짧은 벤치마크 성능만으로 장기 위임 실행의 신뢰성을 보장할 수는 없지만, 그렇다고 AI 시스템이 실무에서 쓸모 없다는 뜻도 아니다. Microsoft Research는 향후 verification loops, memory systems, retrieval, orchestration이 이런 실패 모드를 줄이는 핵심이라고 본다.