마크 저커버그, Muse 커넥터 개발자 접근 개방... 음성 인식 모델 성능은 별도 공개

마크 저커버그는 9월 18일, 개발자가 Muse 커넥터를 구축할 수 있도록 접근을 개방한다고 밝혔다. 개발자가 API를 제공하면 Muse는 에이전트, 브라우저, 사용자의 실제 의도 맥락을 제공하여 서비스 접근 및 처리를 자동화한다. 새로운 커넥터는 muse.ai/platform에서 즉시 사용 가능하다.

한편, Muse의 보안 아키텍처는 9월 8일 소개된 바 있다. Muse는 프라이버시와 보안을 중심으로 설계된 개인용 에이전트로, 데이터와 자격증명은 브라우저, CPU, 메모리, 스토리지를 갖춘 격리된 리눅스 컴퓨터인 'Muse Secure VM'에 저장된다. VM 내에서 실행되는 별도의 'Sentinel 에이전트'가 네트워크로 나가는 모든 액션과 데이터를 승인하며, 커널이 이를 강제하고 필요 시 사용자의 승인을 요청한다.

또한, MSL(Meta Superintelligence Labs)의 첫 번째 실시간 오디오 인식 모델인 'Muse Voice Transcribe'는 9월 1일 공개되었다. 이 모델은 스트리밍 speech-to-text에서 SOTA를 달성했으며, 단일 모델에서 화자 분리(speaker diarization)와 엔드포인트 감지(endpointing)를 지원한다. 'Adaptive delay' 기술을 통해 어려운 단어는 더 기다리고 쉬운 단어는 빠르게 확정하여 속도-정확도 트레이드오프에서 파레토 프론트에 근접한 성능을 보인다. 70개 이상의 언어로 학습되었으며(출시 시 25개 검증 완료), 중간 코드 전환, 20명 이상의 화자가 포함된 1시간 이상의 세션, 지저분한 오디오 환경에서도 성능을 유지한다.