독일 AI 컨소시엄이 벤치마크에서 최고 성능을 보이는 오픈소스 30B 모델 Soofi S 공개

Soofi S 30B 모델 개요

독일 AI 협회(KI Bundesverband)가 주도하는 독일 연구 컨소시엄이 오픈소스 언어모델 Soofi S를 공개했다. 이 모델은 전체 31.6B 파라미터 중 토큰당 3.2B만 활성화하는 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처를 사용한다. 덕분에 실제 계산 비용은 3B 모델 수준이면서도 성능은 훨씬 우수하다.

아키텍처와 성능

모델은 Mamba-2와 표준 attention 계층을 결합한 하이브리드 설계를 채택했다. 52개 레이어 중 6개만 KV 캐시를 유지해 긴 컨텍스트에서도 처리 속도를 유지한다. 실제 벤치마크에서 40,000 토큰 컨텍스트에서 동등한 14-24B 모델 대비 8배 이상의 처리량을 달성했다. 256,000 토큰까지 거의 일정한 처리량을 유지하면서 일반 트랜스포머는 성능이 급락한다.

독일어 중심 훈련 전략

총 27조 토큰을 3단계에 걸쳐 학습했다. 1단계에서는 20조 토큰의 웹·코드·수학 데이터를 사용하되 독일어 비중을 7.2%로 시작했다. 2단계(6조 토큰)에서는 독일어 비중을 15.3%로 확대, 고품질 소스에 집중했다. 독일 신문(Genios 코퍼스 1억 9,300만 기사), HPLT, Commons 코퍼스 등을 조합했다. 이 전략으로 독일어 성능이 기준 모델(Nemotron) 대비 15.1점 향상됐다.

벤치마크 결과

Soofi S는 완전 오픈소스 모델 중 모든 영역에서 최고 성능을 달성했다:

• 영어 종합: 70.1 (OLMo 3 32B, Apertus 70B 능가)
• 독일어 종합: 79.1 (모든 비교 대상 우위)
• 코드(HumanEval): 73.8%, MBPP: 70.2%, MBPP-DE: 84.2%
• 독일 지역지식(INCLUDE-DE): 61.2점 (Qwen3.5와 동점)

약점도 있다. 독일 경시대회 수학(Minerva MATH-DE)에서 56점으로 Qwen3.5(76.5점)에 뒤졌다. 3.2B 활성 파라미터 제약으로 사실 기반 검색 작업도 한계를 보인다.

과훈련 논란과 반박

출시 후 비평가들은 Soofi S가 Chinchilla 스케일링 법칙 기준으로 "심각하게 과훈련"됐다고 지적했다. 27조 토큰을 30B 파라미터에 맞춘 결과 토큰-대-파라미터 비율이 수백 대 1에 달한다는 것이다.

프로젝트 기술 책임자 Michael Fromm은 이를 반박했다: "MoE 아키텍처에는 기존 스케일링 법칙이 적용되지 않는다는 새로운 연구가 있다. MoE 모델에서는 개별 전문가가 같은 문서를 여러 번 본다면 반복 데이터가 밀집 모델처럼 해롭지 않다." Nvidia도 자체 모델을 25조 토큰까지 훈련한 선례가 있다.

주권적 인프라와 투명성

훈련은 3월~5월 독일 텔레콤의 뮌헨 Industrial AI Cloud에서 Nvidia B200 GPU 512개(총 25만 3,000 GPU 시간)로 수행됐다. 재생에너지 100% 운영되며 엘스바흐 수로로 냉각, 폐열은 주변 투헤르파크로 방출된다.

Fraunhofer IAIS/IIS, DFKI, TU 다름슈타트, 뷔르츠부르크 대학, L3S 연구센터, 베를린 응용과학 대학, Ellamind, Merantix Momentum 등 독일 주요 기관이 참여했으며, 독일 연방 경제청과 유럽 IPCEI-CIS 프로그램이 자금을 지원했다.

완전 오픈 공개

Soofi S는 Open Source AI Definition 1.0을 충족한다. 모델 가중치, 중간 체크포인트, 전체 훈련·평가 코드, 각 데이터 소스별 토큰 수와 기여도를 상세히 문서화한 데이터 인벤토리를 공개했다. 제외된 소스도 기록했다. 훈련 데이터의 99%는 독립적으로 재구성 가능하다. 다만 상업 라이선스인 Genios(1.3%)로 인해 더 엄격한 유럽 오픈데이터 정의는 충족하지 못한다.