카카오, Kanana-O 음성 AI 서빙 최적화 기술 공개… OpenAI API 호환·프로세스 격리 적용

카카오가 멀티모달 음성 AI 모델 Kanana-O의 프로덕션 서빙을 위한 최적화 기술과 아키텍처를 공개했다. 기존 범용 프레임워크가 처리하기 어려운 Thinker(LLM)와 Talker(음성 생성) 간의 히든 스테이트 임베딩 전달을 위해, 공유 메모리를 활용한 커스텀 파이프라인을 구축했다.

병목 현상 해결 및 스트리밍 최적화

서버는 Cascaded Streaming Pipeline을 도입해 Thinker, Talker, VoiceBox를 비동기 큐로 연결하고 병렬 실행한다. 이를 통해 사용자가 첫 음성 응답을 듣기까지의 대기 시간을 대폭 단축했다. 또한, CUDA IPC와 프로세스 격리를 적용해 GPU 메모리 충돌을 방지하고, 장애 전파를 차단하여 운영 안정성을 확보했다.

동시성 제어 및 유연한 서비스 모드

FastAPI의 단일 워커 환경에서 async/await 체인과 스레드 풀을 활용해 CPU 바운드 작업을 처리하고, VoiceBox에는 세마포어를 적용해 메모리 초과를 방지한다. 클라이언트는 요청 단위로 Latency-First(실시간 대화) 또는 Quality-First(고품질 TTS) 모드를 선택할 수 있어, 같은 서버에서 두 가지 시나리오를 모두 지원한다.

생태계 호환성

OpenAI Chat Completions API 규격과 100% 호환되도록 설계되어, 기존 OpenAI SDK 코드를 그대로 재활용할 수 있다. 또한 모든 생성 음성에 워터마크를 자동 삽입하여 AI 음성 판별을 가능하게 한다.