IBM·UC 버클리, AI 에이전트 실패 원인 규명

IBM Research와 UC Berkeley는 실무 IT 자동화 환경에서 에이전틱 LLM(Agentic LLM) 시스템이 실패하는 원인을 분석하기 위해 MAST(Multi-Agent System Failure Taxonomy) 방법론을 적용했다. 기존 벤치마크가 성공률이라는 단일 지표에만 의존해 '왜' 실패했는지 알 수 없었던 '블랙박스' 문제를 해결하는 것이 핵심이다.

연구팀은 IT 자동화 벤치마크인 ITBench의 실행 로그를 분석하여 다음과 같은 주요 실패 패턴을 발견했다.

• 모델별 실패 양상 차이: Gemini-3-Flash와 같은 프론티어 모델은 검증 단계 등 특정 병목 지점에서 국소적으로 실패하는 반면, GPT-OSS-120B와 같은 대형 오픈 모델은 하나의 오류가 연쇄적인 환각으로 이어지는 **연쇄 실패(Cascading failure)**를 겪는다.
• 검증 오류(Incorrect Verification): 모든 모델에서 가장 강력한 실패 예측 인자로 나타났다. 에이전트가 실제 결과값을 확인하지 않고 성공했다고 선언하는 FM-3.3 패턴이 빈번했다.
• 종료 제어 문제: Kimi-K2 모델은 작업 완료를 인식하지 못해 조기에 종료하거나 무한 루프에 빠지는 경향이 두드러졌다.

신뢰할 수 있는 에이전트를 구축하기 위한 권장 사항은 다음과 같다.

• 검증의 외부화: LLM이 스스로의 결과물을 채점하게 하지 말고, 반드시 도구(Tool)를 통한 객관적 증거를 요구해야 한다.
• 루프 및 종료 제어: 모델 외부에서 명시적인 정지 조건이나 **유한 상태 머신(FSM)**을 구현하여 무한 루프를 방지해야 한다.
• 모호성 처리: 입력값이 불분명할 경우 에이전트가 사용자에게 질문하도록 설계하여 판단 오류를 줄여야 한다.