AI Briefing생성형 LLM 없이 구축한 실시간 음성 예약 봇, jev 활용으로 지연 300~500ms 확보
·2026.10.29 11:39
핵심 내용
생성형 LLM의 지연과 환각 문제를 해결하기 위해 비생성형 모델 jev와 코드 기반 로직을 결합한 실시간 음성 예약 봇 데모를 소개함.
자세히 보기
- 기존 10B급 경량 LLM의 400~900ms 변동 지연과 환각 문제를 해결하기 위해 비생성형 판별 모델 jev와 코드 기반 비즈니스 로직을 결합한 아키텍처를 제안함
- STT 오류 보정과 날짜 추출은 전처리 계층(Kiwi 형태소 분석)이 담당하고, jev는 추출된 선택지 기반 의도 판별에만 집중하도록 역할 분리함
- FAQ 처리 시 LLM 대신 ColBERT를 활용해 토큰 단위 매칭으로 환각을 차단하고 수십 밀리초 내 정적 답변을 추출함
- 발화 단위를 복창, 조회 결과 등으로 분할해 비동기 전송하며, 사용자 개입(Barge-in) 시 중요도 기반 상태 제어로 대화 흐름을 유지함
- 데모는 식당 예약 시나리오를 기반으로 하며, 잔여 좌석 정보와 복합 발화 처리 과정을 실제 음성으로 확인할 수 있음
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
