Sabi-Noema, Qwen 3.8 27B 미세조정으로 토큰 50% 절감 및 성능 향상

Sabi-Noema와 Sabi-Noema-MLA는 30B 파라미터 미만 모델의 성능 한계를 넓히기 위해 Qwen 3.8 27B를 후처리한 두 가지 버전이다. 오픈소스 환경에서만 학습된 이 모델들은 코딩, 에이전트 작업, 도구 호출 성능을 개선하면서 장황함을 2배로 줄였다.

벤치마크 성능

경쟁 모델 대비 효율성과 정확도에서 우위를 보였다.

• 코딩 및 에이전트 작업: Sabi-Noema는 DeepSWE에서 GPT 6 Luna-medium을 능가하며 Luna 6 medium과 high 사이에 위치한다. 또한 TB2.1, Tau-3 bench, ClawEval, BFCL v4 등 에이전트 및 도구 호출 벤치마크에서 Luna-high보다 높은 성능을 기록했다.
• 환각 현상: Luna, 기본 Qwen 및 기타 경쟁 모델보다 환각률이 현저히 낮다.
• 추론 효율성: 기본 Qwen 모델 대비 TB2.1에서 응답당 토큰 생성량을 50% 줄이고, DeepSWE에서 25% 줄였다.

MLA 변환 및 메모리 효율성

Sabi-Noema-MLA는 Qwen의 GQA 어텐션을 사후에 MLA 변환하여 추가 학습 없이 캘리브레이션 데이터셋만 사용한다.

• KV 캐시 감소: BF16 latents 사용 시 토큰당 바이트 수가 3.6배 낮아진다. MLA latents를 FP8로 압축하면 성능은 유사하게 유지하면서 TB2.1의 총 KV 캐시 크기를 8.4배 줄인다.
• 컨텍스트 길이: 24GB GPU(3090/4090 등)에서 q4_0 양자화를 적용하면 Sabi-Noema-MLA는 ~534K의 컨텍스트 크기를 지원하지만, FP8 캐시를 사용하는 기본 Qwen은 ~150K로 제한된다.