Thinking Machines AI, Inkling 2 Small 공개... 다음 주 Apache 2.0 오픈 웨이트 예정

• Thinking Machines AI가 MoE 아키텍처를 적용한 두 번째 모델 세대인 Inkling 2 Small을 출시함. 총 594B 파라미터 중 17B가 활성 파라미터로 구성됨
• Artificial Analysis Intelligence Index 점수 30.6 달성
• 초기 배포는 Tinker 플랫폼을 통해 클로즈드 웨이트로 제공되며, 외부 안전성 및 레드팀 테스트 완료 후 다음 주에 Apache 2.0 라이선스로 전체 웨이트 공개 예정
• 초기 사전학습 단계(H1)에서 8.4조 토큰을 사용했으며, NVIDIA GB300 NVL72 랙에서 NVFP4 형식으로 네이티브 실행하여 68시간 만에 완료함

Performance and Benchmarks

• 코딩: FrontierCode v2.0에서 25.4%, DeepSWE v1.1에서 72.1% 점수 기록
• 비전: 비교 대상 Open Weights Flash 모델 중 GDP.pdf(25.2%)와 PerceptionBench(64.7%)에서 1위, MMMU Pro(81.6%)에서 2위 달성
• 지식 작업: AA-Briefcase v1.1에서 ELO 1527 기록, 비교 대상 Open Weights Flash 모델 중 JobBench(70.5%)와 EnterpriseBench-CoreCraft(71.8%)에서 1위 달성
• 롱 컨텍스트: AA-LCR v1.1에서 83.3%(2위), LongBench v2에서 70.6%(2위) 기록

Training and Infrastructure

• 사전학습: H1 단계에서 8.4T 토큰 사용, H2 단계에서 512K 컨텍스트를 갖춘 3.8T的高质量 토큰 추가, H3 및 H4 단계에서 1M 컨텍스트까지 확장된 추론 및 에이전트 궤적 포함
• RL 실행: 상당한 스탈니스(staleness)를 허용하는 비동기 RL과 StableReinforce 목적함수 사용

Limitations and Availability

• 오디오 입력 미지원, 복잡한 코드베이스에서 최적의 도구 선택에 어려움 있을 수 있음
• 추론 및 파인튜닝은 현재 Tinker 플랫폼에서 이용 가능