현대오토에버의 Amazon Bedrock 기반 빅데이터 클러스터 장애 대응 자동화 에이전트 구축기

현대오토에버 데이터플랫폼기술팀은 Hadoop 기반 빅데이터 클러스터를 24시간 운영하면서 반복되는 장애 대응을 자동화하기 위해 Amazon Bedrock과 LangGraph를 결합한 에이전트를 만들었다.

장애 대응을 Detection, Investigation, Recovery, Post-Incident Review, Improve의 5단계 생명 주기로 보고, 알림 확인부터 로그 탐색, RCA, 복구 계획, 사후 보고, 지식 축적까지를 하나의 흐름으로 묶었다. 목표는 MTTA 단축, 품질 표준화, Incident 지식 자산화였다.

아키텍처는 VDI Agent와 Main Agent Server로 나뉜다. VDI 쪽의 Outlook Monitor가 장애 메일을 감지해 incident payload를 보내고, Teams Agent가 진행 상황과 Q&A를 맡으며, SSH Runner가 read-only 진단 명령을 실행한다. 서버 측은 FastAPI REST Gateway, LangGraph Orchestrator, PostgreSQL, Amazon OpenSearch Service, Amazon Bedrock으로 구성됐다.

워크플로우는 14개 에이전트로 설계됐고, 현재는 분류·진단부터 분석까지의 9개 노드를 운영 중이다. PostgresSaver checkpointing으로 노드 단위 상태를 저장해 중단 후 재개가 가능하며, 운영 중에도 점진적으로 복구·승인·보고 노드를 확장할 수 있게 했다.

핵심은 상태를 덮어쓰지 않고 delta만 반환해 Reducer가 병렬 결과를 합치는 구조다. analysis, log, timeline 같은 필드는 _merge_dict, _add_list 같은 reducer로 합치고, RCA-A와 RCA-B가 각각 독립적으로 분석한 뒤 Reflector가 교차 검증한다.

주요 노드는 다음 역할을 맡는다.

• Coordinator: 알림 메일에서 서비스·컴포넌트를 분류하고, Meta DB로 실제 클러스터 존재 여부를 검증해 workflow 진행 여부를 결정한다.
• State Checker: Ambari 스냅샷과 SSH 진단을 반복하며 현재 상태를 객관적으로 기술한다. 최대 50회 루프를 돌 수 있고, 5스텝마다 alert 상태를 갱신한다.
• Log Investigator: OpenSearch 집계로 우선순위를 정한 뒤, 탐색 의도를 만들고, 저비용 모델의 Triage와 고성능 모델의 Summarize를 조합해 증거를 EvidencePack으로 정리한다.
• RCA 병렬 분석: 두 모델이 같은 EvidencePack을 바탕으로 원인을 독립 분석하고, 각자 반증(Falsification)을 생성해 robustness_score를 계산한다.

로그 탐색은 장애 시점 전후 10분을 기본으로 시작해 필요하면 20분, 최대 30분까지 넓히고, 로그 레벨도 CRITICAL → WARN → INFO 순으로 확장한다. 컴포넌트명은 동의어 매핑, whitelist, 퍼지 매칭으로 정규화해 OpenSearch 검색 실패를 줄였다.

병렬 RCA는 단일 LLM의 확증 편향과 환각을 줄이기 위한 설계다. 서로 다른 상위 추론 모델이 같은 증거를 보고 독립적으로 결론을 내린 뒤, Reflector가 논증 구조와 반증 강도를 비교해 최종 판정을 내린다.