커스터마이징을 위해 설계된 새로운 미국산 AI 모델

Mira Murati가 설립한 Thinking Machines는 2026년 7월 15일, 처음부터 자체적으로 학습시킨 첫 번째 모델인 Inkling을 출시했다. 이 모델은 Hugging Face에 Apache 2.0 라이선스로 공개되어 누구나 다운로드 후 자체 데이터로 재학습할 수 있다.

Inkling의 아키텍처는 Mixture of Experts(MoE) 방식을 채택했다. 총 66개 레이어에 레이어당 256개의 전문가(expert)가 존재하지만, 토큰당 실제로 활성화되는 것은 단 6개뿐이다. 이를 통해 전체 매개변수 975억 개 중 실제 활성 매개변수는 41억 개에 불과하도록 설계되어 효율성을 극대화했다.

컨텍스트 윈도우는 100만 토큰을 지원한다. 대부분의 레이어는 최근 텍스트의 짧은 윈도우만 접근하는 로컬 어텐션을 사용하며, 일부 레이어만 전체 컨텍스트를 접근하는 글로벌 어텐션을 사용하여 계산 비용을 절감했다. 또한 위치 인코딩에는 과거에 많이 사용되었으나 최근에는 덜 선호되는 방식을 선택했다.

이미지와 오디오 입력은 별도의 사전 학습된 인코더 없이 모델에 직접 통합된다. 또한 답변 전 추론 깊이를 조절하는 Thinking effort 설정(0~1)을 제공하여 사용자의 필요에 따라 모델의 사고 과정을 유연하게 제어할 수 있다.