phonellm-alpha-1: Nemotron 기반 음성 에이전트 전용 경량 LLM

NVIDIA Nemotron-3-Nano-30B-A3B를 파인튜닝해 음성 에이전트와 전화 통화 시나리오에 최적화했다. Mixture-of-Experts 구조를 채택해 30B 파라미터 규모임에도 실제 추론 시에는 3B 수준으로 동작하며, 낮은 지연 시간으로 실시간 대화 처리가 가능하다.

1 / 6

pipecat 프레임워크와 긴밀하게 연동되도록 설계되어 음성 입력을 즉시 텍스트로 변환하고 응답하는 파이프라인을 단순화한다. Function calling과 tool use를 지원하므로 예약 확인, 정보 조회 등 복잡한 업무 로직을 모델이 직접 수행할 수 있다.

영어 환경의 대화형 AI 구축에 특화되어 있으며 BSD-2-Clause 라이선스로 상업적 활용이 자유롭다. 기존 범용 LLM이 겪는 음성 대화에서의 지연 문제나 토큰 낭비를 줄이고, 경량화된 자원으로도 자연스러운 음성 상호작용을 구현하려는 개발자에게 적합하다.