HuggingFace, 3B 모델 SmolLM3 공개

SmolLM3는 11T 토큰으로 학습된 3B 파라미터 규모의 모델로, Llama-3.2-3B 및 Qwen2.5-3B를 능가하는 성능을 제공한다.

주요 특징은 다음과 같다:

• 듀얼 모드 추론: think 및 no_think 모드를 지원하는 인스트럭트 모델.
• 다국어 지원: 영어, 프랑스어, 스페인어, 독일어, 이탈리아어, 포르투갈어 등 6개 언어 지원.
• 롱 컨텍스트: NoPE와 YaRN을 활용하여 최대 128k 컨텍스트 지원.

기술적으로는 **GQA(Grouped Query Attention)**를 통해 추론 시 KV 캐시 크기를 최적화했으며, 특정 레이어에서 RoPE를 제거하는 NoPE 방식을 도입해 롱 컨텍스트 성능을 높였다. 또한 Intra-Document Masking을 적용해 학습 안정성을 확보했다.

HuggingFace는 모델뿐만 아니라 아키텍처, 데이터 혼합 비율, 학습 방법론을 포함한 엔지니어링 블루프린트를 함께 공개하여 개발자들이 모델 구축 과정을 이해하고 재현할 수 있도록 지원한다.