agents: 실시간 음성 에이전트 구축, STT·LLM·TTS 조합 자유

서버에서 실행되는 실시간 대화형 음성 에이전트를 만드는 프레임워크다. 사용자가 말하면 듣는 것부터 이해하고 답변하는 음성 생성까지 전 과정을 코드로 제어한다. 단순 채팅봇을 넘어 보고 듣는 멀티모달 기능을 갖췄다.

STT, LLM, TTS, Realtime API 등 각 단계의 모델을 자유롭게 조합할 수 있다. Deepgram, OpenAI, Cartesia 등 주요 프로바이더를 지원하며, MCP 서버의 도구를 한 줄 코드로 연동한다. 전화 통화 연동과 WebRTC 클라이언트 SDK도 기본 제공한다.

Transformer 기반의 시맨틱 턴 감지 기능으로 사용자가 말을 끝낸 시점을 정확히 판단해 끊김을 줄인다. 여러 에이전트 간 역할 전환과 작업 스케줄링을 내장했다. LLM의 비결정적 동작을 검증하기 위해 AI 판정 기반의 테스트 프레임워크도 포함됐다.

음성 통화, 영상 아바타, 레스토랑 예약 등 다양한 예제 코드를 제공한다. Python과 JS/TS 라이브러리를 모두 지원하며, 전체 스택을 자체 서버에서 구동할 수 있는 오픈소스다. 복잡한 음성 AI 애플리케이션의 백엔드 로직을 표준화하려는 개발자에게 적합하다.