Inkling-2-Small: 383B MoE 멀티모달 모델, 8-bit 정밀도로 배포

Thinking Machines Lab이 공개한 Inkling-2-Small은 이미지와 텍스트를 동시에 이해하는 멀티모달 LLM이다. 총 383B 파라미터 규모의 Mixture of Experts(MoE) 아키텍처를 기반으로 하며, 8-bit 정밀도로 저장되어 메모리 효율성을 고려한 구성이다.

이미지 URL과 텍스트 프롬프트를 입력하면 시각 정보에 기반한 답변을 생성한다. 단순한 이미지 설명을 넘어, 도구 호출(tool calling) 및 구조화된 출력(structured output)을 지원하여 에이전트 기반 워크플로우에 적합하다. 오디오 입력은 지원하지 않는다.

Hugging Face Transformers 라이브러리 및 vLLM 서버를 통해 바로 추론이 가능하다. DeepInfra와 Together AI 등 주요 인퍼런스 프로바이더에서도 라이브 상태로 제공되어, 로컬 환경뿐 아니라 클라우드 API를 통해 즉시 접근할 수 있다.

Apache 2.0 라이선스로 배포되어 상용 프로젝트에도 자유롭게 활용할 수 있다. 대규모 멀티모달 추론이 필요하지만, 완전한 정밀도 모델보다 경량화된 배포 환경을 선호하는 개발자에게 적합하다.