Swiss AI Initiative, 멀티모달 Apertus 1.5 모델 공개

Swiss AI Initiative가 오픈 웨이트 모델 시리즈의 업데이트 버전인 Apertus 1.5를 공개했다. 이번 버전은 네이티브 멀티모달 기능과 확장된 추론 기능을 도입했다. Apertus 1.0의 8B 및 70B 기반 모델에 지속적 사전 학습을 적용해 이미지와 오디오 입력을 지원하며, 추론 성능을 높이는 전용 thinking mode를 제공한다. 컨텍스트 윈도우는 기존 대비 4배인 262,144 토큰으로 확대됐고, 라이선스는 Apache 2.0이다.

아키텍처 및 학습

Apertus 1.5는 early-fusion 아키텍처를 사용해 이미지와 오디오를 텍스트와 동일한 시퀀스 내의 이산 토큰으로 처리하며, 별도의 비전 인코더가 필요 없다. 이미지는 Emu3.5로 토큰화(512x512 이미지는 1,024 토큰)되고, 오디오는 WavTokenizer를 사용한다(초당 40 토큰). 학습에는 8B 모델에 4조 토큰(총 19T), 70B 모델에 2조 토큰(총 17T)이 추가됐으며, 모두 공개적이고 허용적인 라이선스의 데이터에서 가져왔다.

후처리 학습 파이프라인은 SFT, Long-context SFT, RLVR, DPO, SDPO의 5단계로 구성된다. Apertus Charter에 따라 모델을 정렬하는 SDPO 단계는 8B 모델에만 적용된다. 언어 능력을 보존하기 위해 텍스트 비중을 우선시하며, 학습 토큰의 절반 이상이 텍스트 전용이다.

성능 및 가용성

평가 결과, Apertus 1.5 8B는 유사 크기의 오픈 웨이트 모델보다 지시 따르기 및 다국어 작업에서 우수한 성능을 보인다. thinking mode는 AIME 같은 어려운 추론 벤치마크에서 성능을 향상시킨다. 멀티모달 성능은 Gemma 4 12B와 유사하며, 공간 및 문서 이해에서 경쟁력 있는 결과를 낸다. 특히 8B 모델은 Last Translation Benchmark에서 GPT-OSS-20B와 동등한 성능을 보이고, 특정 번역 작업에서는 Claude Haiku 4.5와 Google Translate를 능가한다.

모델은 Hugging Face에서 제공되며 Proton Lumo와 Infomaniak Euria 같은 앱에 통합됐다. API 접근은 Swisscom과 Infomaniak 같은 파트너사를 통해 가능하다. 또한 프로젝트는 에이전트, 수학, 코딩에 중점을 둔 약 600B 총 파라미터의 sparse/MoE 아키텍처를 갖춘 Apertus 2.0 로드맵을 발표했다.