Needle 2,600만 툴콜 모델 공개

Needle이 2,600만 매개변수의 function-calling 모델을 오픈소스로 공개했다.

• 목표는 스마트폰, 워치, 안경 같은 저전력 기기에서 동작하는 에이전트용 툴 호출이다.
• 구조는 Simple Attention Networks로, MLP 없이 attention과 gating만 사용한다.
• 저자들은 툴 호출을 추론보다 **검색·조립(retrieval-and-assembly)**에 가까운 문제로 보고, 이 영역에서는 cross-attention이 핵심이라고 주장한다.

학습과 성능은 다음과 같다.

• 200B 토큰 사전학습을 16 TPU v6e에서 27시간에 수행했다.
• 2B 토큰의 합성 function-calling 데이터로 45분 추가 학습했다.
• 합성 데이터는 Gemini로 만들었고, 15개 툴 카테고리(타이머, 메시지, 내비게이션, 스마트홈 등)를 포함한다.
• 소비자 기기에서 prefill 6,000 tok/s, decode 1,200 tok/s를 주장한다.
• 단일 샷 function calling에서 FunctionGemma-270M, Qwen-0.6B, Granite-350M, LFM2.5-350M보다 낫다고 설명한다.

코드와 아키텍처 문서는 GitHub에 공개됐고, Mac/PC에서 테스트와 파인튜닝이 가능하다고 밝혔다.