상호작용 모델 - 인간-AI 협업을 위한 확장 가능한 접근법

Thinking Machines Lab이 Interaction Model 프리뷰를 내놓고, 턴 기반 대화가 만드는 협업 병목을 줄이려 한다. 핵심은 모델이 오디오·비디오·텍스트를 실시간 스트림으로 받아들이고 내보내며, 사용자가 말을 마칠 때까지 기다리지 않는다는 점이다.

시스템은 두 축으로 나뉜다.

• Interaction Model: 200ms 단위 마이크로턴으로 대화, 끼어들기, 동시 발화, 시각적 반응을 처리한다.
• Background Model: 장기 추론, 도구 사용, 검색, 생성 작업을 비동기로 맡고, 결과를 스트리밍으로 돌려준다.

구조는 최소 전처리와 공동 학습에 가깝다. 오디오는 dMel, 이미지는 40x40 패치 + hMLP, 오디오 디코딩은 flow head를 쓴다. 추론 쪽에서는 streaming session으로 200ms 청크를 GPU 메모리의 지속 시퀀스에 이어 붙이고, gather+gemv, batch-invariant kernel, NVLS 등으로 지연과 결정성을 맞췄다.

평가에서는 TML-Interaction-Small이 276B MoE / 12B active로 공개됐고, FD-bench V1.5 평균 77.8점, 턴테이킹 지연 0.40초를 기록했다. Audio+Tools에서는 82.8% / Pass@1 68.0%, Audio MultiChallenge APR은 43.4%, Harmbench 텍스트 거절률은 **99.0%**였다. 반면 QIVD Video+Audio는 **54.0%**로 상대적으로 약했다.

새 평가 축도 제안했다. TimeSpeak, CueSpeak는 시간 인식과 동시 발화를, RepCount-A, ProactiveVideoQA, Charades는 시각 능동성을 측정한다. 기존 상용 실시간 모델들은 이런 과제에서 아직 의미 있게 풀지 못했고, 장기 세션 문맥 관리와 불안정한 네트워크 대응은 남은 과제로 남았다.

향후 몇 달 안에 제한적 연구 프리뷰를 열고, 더 큰 모델은 올해 후반 공개할 계획이다.