Qwen3.5-Omni: 스케일업, 네이티브 Omni-Modal AGI를 향해

Qwen3.5-Omni는 텍스트, 이미지, 오디오, 오디오-비주얼 콘텐츠를 모두 다루는 최신 완전 omnimodal LLM으로, Plus / Flash / Light 3종 Instruct 버전으로 제공된다. 256k long-context를 지원하며, 10시간 이상 오디오 입력과 720P 오디오-비주얼 입력 400초 이상(1 FPS) 처리가 가능하다.

사전학습은 텍스트와 비주얼 데이터에 더해 1억 시간 이상 오디오-비주얼 데이터를 포함한 네이티브 omnimodal 방식으로 진행됐다. 그 결과, 전 모달에서 인지와 생성 능력이 강화됐고, 특히 이전 세대인 Qwen3-Omni 대비 다국어 능력이 크게 좋아져 113개 언어/방언 ASR과 36개 언어/방언 음성 생성을 지원한다.

성능 측면에서 Qwen3.5-Omni-Plus는 오디오 및 오디오-비주얼 이해, 추론, 상호작용의 215개 벤치마크/서브태스크에서 SOTA를 기록했다고 밝힌다. 오디오 이해 전반에서는 Gemini-3.1 Pro를 능가하고, 오디오-비주얼 이해도 같은 수준까지 올라섰으며, 시각·텍스트 능력은 같은 크기의 Qwen3.5 계열과 맞먹는다.

특히 눈에 띄는 기능은 다음과 같다.

• Audio/Audio-Visual Captioning: 자동 세그먼트, 타임스탬프, 등장인물 관계까지 포함한 구조화된 상세 캡션 생성
• Audio-Visual Vibe Coding: 오디오-비주얼 지시만으로 직접 코딩을 수행하는 새 능력
• Realtime API: 의미 기반 interruption, WebSearch, complex FunctionCall, end-to-end voice control, voice cloning 지원
• ARIA: 텍스트와 speech unit을 동적으로 정렬하는 방식으로 스트리밍 음성의 누락, 오독, 숫자 발음 불안정을 줄임

아키텍처는 기존의 Thinker-Talker 구조를 유지하되, Thinker는 Vision Encoder와 AuT로 시각·음성 신호를 받아 처리하고, Talker는 Thinker의 다중모달 입력과 텍스트 출력을 바탕으로 문맥 기반 음성 생성을 수행한다. 음성 표현은 무거운 DiT 대신 RVQ를 사용하며, chunk-wise streaming 입력과 streaming Talker 설계로 실시간 상호작용을 가능하게 했다.

이전 세대와 비교하면 Backbone은 MoE에서 Hybrid-MoE로 바뀌었고, sequence length는 32k에서 256k로 확장됐다. 음성 인식 범위도 크게 넓어져, 다수의 언어와 중국어 방언을 포함한 훨씬 넓은 coverage를 확보했다.