xAI의 Grok Voice Think Fast 2.0, AI Gateway에서 사용 가능

xAI의 Grok Voice Think Fast 2.0이 AI Gateway에 추가되었습니다. 이 모델은 오디오 입력을 받아 오디오로 출력하는 speech-to-speech 음성 모델로, 이전 모델 대비 추론 능력, 전사(transcription) 정확도 및 대화 능력이 크게 향상되었습니다.

주요 특징은 다음과 같습니다:

• 병렬 추론: 음성 출력과 동시에 추론을 진행하여 지연 시간(latency) 없이 질의를 처리합니다.
• 효율적인 토큰 사용: 추론 토큰 사용량을 줄여, 에이전트가 첫 문장을 마치기도 전에 도구 호출(tool calls)을 실행할 수 있습니다.
• 강력한 환경 적응력: 배경 소음이나 전화 통신 압축이 발생하는 실제 환경에서도 안정적인 전사 성능을 유지합니다.

개발자는 AI SDK의 realtime API를 통해 xai/grok-voice-think-fast-2.0 모델을 사용할 수 있으며, 보안을 위해 서버에서 짧은 수명의 토큰을 생성하여 클라이언트에 전달하는 방식을 권장합니다.