KDDI, Buffmee RAG 앱 성능 최적화… 지연 38% 감소 및 Groundedness 25% 개선

KDDI가 소비자용 RAG 앱 Buffmee의 성능을 최적화하기 위해 Google Cloud의 **Agent Development Kit(ADK)**과 Gemini Enterprise Agent Platform Evaluation Service를 도입했다. 초기에는 방대한 독점 콘텐츠 기반의 Grounding 과정에서 발생하는 높은 지연(latency)과 할루시네이션 문제가 주요 과제였다.

성능 개선 및 자동화

자동화된 평가 프레임워크와 ADK를 활용한 최적화 결과, 총 애플리케이션 응답 지연은 38% 감소했으며 **Time To First Token(TTFT)**은 약 18% 개선되었다. 또한 Groundedness scores가 25% 향상되어 정확하고 신뢰할 수 있는 출력 보장이 가능해졌다.

핵심 최적화 전략

KDDI는 대규모 콘텐츠 라이브러리에 대응하기 위해 다음과 같은 4가지 원칙을 적용했다.

• Binary evaluation 도입: 1-5점 척도 대신 pass/fail 시스템을 적용해 평가의 분산과 노이즈를 최소화했다.
• Strategic content sampling: 콘텐츠 형식과 구성을 2차원 그리드로 분류해 대표 샘플을 선정함으로써 평가 워크로드를 75% 줄이면서도 커버리지를 유지했다.
• Product judgment 기반 thresholds: 제품 오너가 자동 점수와 샘플 답변을 함께 검토해 '출시 가능 수준'의 기준을 설정했다.
• ADK Skills로 모듈화: 800줄을 초과하는 복잡한 system prompts를 기능별 ADK Skills로 분리해 dynamic loading을 적용하고 응답 시간을 단축했다.

이러한 접근은 BigQuery Agent Analytics와 ADK log analysis agent를 통해 production 로그를 분석하고, prompt bloat 및 deep-stack bottlenecks를 실시간으로 해결하는 데 기여했다.