Sophon-Realtime-v1: 32B 오픈소스 모델, GPT-4o-mini급 음성 대화

사용자가 말을 멈추는 순간 즉시 응답하고, 중간에 끼어들면 즉시 중단하는 풀듀플렉스 음성 모델이다. 32B 파라미터의 단일 모델이 청취, 턴 테이킹, 응답 생성을 동시에 처리한다. Apache-2.0 라이선스로 배포되어 상업적 사용이 가능하다.

단순 텍스트 변환을 넘어, 상대방의 말투와 감정을 파악한다. 의성어, 강조, 비꼬기, 웃음, 한숨 같은 패라링구이스틱 요소를 인식하고, 응답 시에도 웃음이나 기침 등 비언어적 소리를 자연스럽게 포함한다. VoiceBench 82.8점, Big Bench Audio 81.8%로 오픈소스 풀듀플렉스 모델 중 최상위 성능을 기록했다.

Tag, Flash, E2E 세 가지 빌드가 동일한 뇌를 공유하며 출력 방식만 다르다. Tag는 표현력, Flash는 80GB GPU당 40명 동시 처리 속도, E2E는 0.25초 내 첫 오디오 출력을 제공한다. OpenAI GPT-Live 프로토콜과 호환되어 기존 클라이언트를 그대로 사용할 수 있다.

고객 서비스, 인카 시스템, 캐릭터 기반 챗봇 등 실시간 음성 인터페이스가 필요한 환경에 적합하다. vLLM-Omni로 한 명령어만으로도 배포가 가능하며, LoRA를 통해 도메인 지식이나 톤을 미세 조정할 수 있다. 모든 응답에는 감사 및 도구 연동을 위한 텍스트 전사본이 함께 제공된다.