Qwen3.8-27B 성능 및 아키텍처 분석

Qwen3.8-27B 모델의 비전 타워(Vision Tower) 아키텍처와 벤치마크 성능을 분석한 결과, 모델의 성능이 벤치마크의 데이터 밀도에 따라 뚜렷한 차이를 보이는 것으로 나타났다.

비전 타워 아키텍처 상세:

• 레이어 수: 27개
• Hidden Dimension: 1152
• 헤드 구성: 16개 (head_dim 72)
• MLP: 4304
• 프로젝션: 5120 (중간 어댑터 없이 직접 투영)
• 파라미터: 약 421M (전체 모델의 약 1.56% 차지)

벤치마크 성능 특징: 모델은 데이터가 적은 '얇은(thin)' 분야에서는 선두를 달리고 있으나, 검증된 모델이 많은 '심층(dense)' 분야에서는 중간 수준의 성능을 기록했다.

• 상위권 (Thin fields): NL2Repo-Bench, QwenSWEBench, CoWorkBench, IFBench, Agent's Last Exam 등.
• 중위권 (Dense fields):
  • Terminal-Bench 2.1: 25개 모델 중 18위 (73.0)
  • GPQA Diamond: 50개 모델 중 17위 (89.2)
  • SWE-Bench Pro: 20개 모델 중 8위 (61.7)

특히 SWE-Bench Pro에서 27B 모델은 61.7점을 기록하며, 2.4T 플래그십 모델 성능(67.7점)의 약 **91%**에 달하는 효율성을 보여주었다. 이는 파라미터 수 대비 매우 높은 성능 효율을 의미한다.