QUBA 개발기: AI 에이전트로 Jira 버그 티켓 원인 분석 및 수정안 자동 제안

• QA 등록 Jira 버그 티켓을 AI 에이전트가 조사해 원인 및 수정안을 제안하는 사이드 프로젝트 QUBA 개발 과정 공유
• 8월 QA 티켓 7건 실측 결과, QUBA 리포트 활용 시 도구 호출 12% 감소(274회 -> 240회), 비용 6% 절감, 1차 조사 평균 14.1초 소요
• LangGraph 기반 Supervisor Agent와 MCP Tool 연동으로 Jira, 코드, DB 등 사내 데이터 접근 및 Human-in-the-Loop 승인 게이트 적용
• 임베딩 코사인 유사도는 정답/오답 구분 불가(0.75~0.82)했으나, Cross-encoder 리랭커 점수는 16~23배 차이로 정밀 판정 가능 확인

아키텍처 및 파이프라인

• n8n, LangGraph, Claude Agent SDK 비교 후 명시적 흐름 제어 및 테스트 친화성을 이유로 LangGraph 채택
• fetch_ticket부터 post_comment까지 7개 노드 구성, LLM이 핵심 키워드 3개 추출하여 검색 쿼리 생성
• 4,000자 이내 프롬프트 조립 후 LLM이 원인, 수정 방향, Fix Scope 포함 JSON 리포트 생성

RAG 및 검색 품질 최적화

• BGE-M3 계열 1024차원 벡터 사용, 문서 종류별 의미 경계 기준 청킹으로 색인 성공률 100% 달성(346개 문서 전량)
• 고유 식별자(에러 코드, endpoint 등)는 벡터가 아닌 메타데이터로 보존하여 정확 일치 필터링 적용
• RRF(Reciprocal Rank Fusion)로 점수 스케일 상이한 검색 결과 병합, 로그 스케일 재보정으로 신뢰도 0~1 범위 매핑