Inner Loop 엔지니어링으로 본 Deep Insight Chatbot – 대화형 분석 챗봇의 4가지 설계 결정
·2026.06.15 11:33
분석가가 매일 사용할 수 있는 고성능 대화형 분석 챗봇을 구축하기 위한 4가지 핵심 설계 전략을 다룬다.
단순한 차트 생성 챗봇을 넘어 분석가가 매일 사용하는 전문 도구로 만들기 위해서는 데이터 보호, 속도, 신뢰성, 비용이라는 네 가지 과제를 해결해야 합니다.
분석 프로세스는 자동화된 산출물을 만드는 Outer Loop와 분석가가 직접 데이터를 탐색하는 Inner Loop로 나뉩니다. 이번 설계의 핵심은 Inner Loop를 위해 별도의 아키텍처를 구축하여 응답 지연과 비용 문제를 해결하는 것입니다.
주요 설계 결정 사항은 다음과 같습니다:
- 데이터 보호: LLM은 SQL만 생성하고, 실제 실행은 샌드박싱된 DuckDB가 담당하여 데이터 유출과 환각 현상을 방지합니다.
- 속도: 세션마다 **OLAP 엔진(DuckDB)**을 상주시켜 쿼리 응답 속도를 수백 ms 단위로 단축합니다.
- 신뢰성: 생성된 SQL을 사용자에게 노출하여 분석가가 직접 검증하고 수정할 수 있도록 투명성을 확보합니다.
- 비용: Prompt cache 적중률을 90% 이상으로 유지하여 멀티턴 대화 시 발생하는 LLM 비용을 통제합니다.
이 시스템은 Outer Loop와 Inner Loop가 서로의 리소스를 침범하지 않도록 각각 별도의 ECS service로 격리하여 안정성을 높였습니다.
이 요약은 원문 이해를 돕기 위한 큐레이션입니다. 저작권은 원저작자에게 있으며, 정확한 내용과 맥락은 원문을 확인하세요.
요약 오류, 출처 표기 문제, 삭제 요청은 문의 · 건의로 알려주세요.
