SK플래닛, AWS Bedrock Prompt Caching으로 SQL 어시스턴트 성능 최적화

SK플래닛의 데이터 인프라 팀이 개발한 사내 Text 기반 SQL Assistant 및 Table 메타 검색 시스템인 Chat DIC 프로젝트에서 AWS Bedrock의 Prompt Caching 기능을 활용해 성능과 비용을 최적화했다. 이 기능은 반복적으로 사용되는 system, tools 등 프롬프트 문맥을 캐시에 저장해 모델 재계산을 줄이고 응답 지연 시간과 토큰 비용을 절감한다.

초기 AWS Lambda 기반 구조에서는 Gateway Timeout 제한(최대 29초)과 SSE 미지원, Throttling 이슈로 인해 스트리밍 응답과 대용량 요청 처리에 한계가 있었다. 이를 해결하기 위해 ALB와 EC2 기반 아키텍처로 전환하고, 변하지 않는 system 및 tools 프롬프트에 캐시 포인트를 지정하는 방식으로 Prompt Caching을 적용했다.

캐시 적용 시 Claude 3.7 Sonnet 등 지원 모델 기준 최소 1,024 tokens부터 캐싱이 가능하며, TTL은 5분이다. messages 필드는 대화 내용이 매번 달라지므로 캐시 대상에서 제외하고, 고정된 system과 tools만 캐싱해 효율을 극대화했다. 이를 통해 Throttling 문제를 완화하고 응답 속도를 개선할 수 있었다.