1T 파라미터급 멀티모달 모델 Inkling 출시

Thinking Machines가 텍스트, 이미지, 오디오를 모두 지원하는 1T(1조) 파라미터 규모의 오픈 모델 Inkling을 Hugging Face에 공개했습니다. 이 모델은 45조 개의 토큰으로 학습되었으며, 1M(100만) 컨텍스트 윈도우를 지원합니다.

주요 기술적 특징:

• MoE(Mixture-of-Experts) 구조: 총 975B 파라미터 중 추론 시에는 41B의 파라미터만 활성화되어 효율성을 높였으며, 256개의 전문가(Experts)를 보유하고 있습니다.
• 하이브리드 어텐션(Hybrid Attention): 글로벌 어텐션과 슬라이딩 윈도우 어텐션을 5:1 비율로 교차 사용하여 계산 효율성을 극대화했습니다.
• 상대적 어텐션(Relative Attention): RoPE 대신 상대적 어텐션을 사용하여 위치 정보를 인코딩합니다.
• SConv(Short Convolution): 로컬 표현 학습을 돕기 위해 1D 컨볼루션을 활용합니다.
• 멀티모달 지원: 별도의 인코더 대신 단순화된 계층적 MLP 패치파이어를 통해 이미지와 오디오를 처리하며, 비디오 처리 기능도 포함되어 있습니다.

현재 transformers, SGLang, llama.cpp에서 즉시 사용할 수 있으며, BF16 및 NVFP4 양자화 버전을 모두 제공합니다.