RAG 엔지니어링

**RAG(Retrieval-Augmented Generation)**는 LLM의 답변 정확도를 높이기 위해 필수적이지만, 대화 맥락을 정교한 쿼리로 변환하는 쿼리 재작성(Query Rewriting) 단계에서 심각한 지연 시간이 발생할 수 있다. 기존 시스템은 외부 LLM에 의존하여 이 단계에서 전체 RAG 지연 시간의 80% 이상을 차지하는 병목 현상을 겪었다.

이를 해결하기 위해 여러 모델을 병렬로 실행하여 가장 먼저 유효한 응답을 내놓는 모델을 채택하는 모델 레이싱(Model Racing) 아키텍처를 도입했다.

• 병렬 실행: 자체 호스팅하는 Qwen 3-4B 및 3-30B-A3B 모델을 포함한 여러 모델에 쿼리를 동시에 전송한다.
• 폴백(Fallback) 메커니즘: 1초 이내에 응답이 없을 경우 사용자의 원본 메시지를 그대로 사용하여 대화의 흐름이 끊기지 않도록 한다.

이러한 설계 변경을 통해 중간값(Median) RAG 지연 시간을 326ms에서 155ms로 약 50% 이상 단축했다. 또한, 외부 LLM 제공업체의 장애 시에도 자체 호스팅 모델이 즉시 대응할 수 있어 시스템의 회복탄력성이 크게 향상되었다.