Needle 2 - 스마트폰·웨어러블·스마트홈·로봇을 위한 14MB 에이전틱 LLM

Cactus가 45M 파라미터·14MB 크기의 온디바이스 LLM Needle 2를 공개했다. 스마트폰, 웨어러블, 스마트홈 기기, 소형 로봇처럼 GPU·NPU와 수십 MB 수준의 RAM만 사용하는 저가형 엣지 디바이스를 대상으로 한다.

Needle 2는 일반적인 대화보다 tool calling과 구조화된 데이터 추출에 초점을 맞춘다.

• 자연어를 기기 기능의 함수와 typed parameter로 변환
• 스키마 기반으로 enum, 배열, 객체 형태의 구조화된 출력 생성
• 문법 컴파일을 통해 잘못된 JSON과 유효하지 않은 구조를 방지
• 여러 도구를 연속 호출하는 멀티스텝 작업 지원
• 관련 없는 요청은 빈 호출로 거부하고 confidence score 제공

모델은 2-bit 양자화를 전제로 학습됐으며, 가중치·활성값·KV cache를 배포 환경에 맞춰 공동 최적화했다고 설명한다. 제공 바이너리는 모델, 토크나이저, grammar compiler를 포함한 의존성 없는 C++ 단일 실행 파일로 배포되며, Cortex-M부터 x86과 WebAssembly까지 지원한다.

공개 자료에 따르면 Needle 2는 Mobile-Actions 평가에서 배포 바이너리 기준으로 측정됐고, Raspberry Pi 5에서 prefill 800토큰/초 이상, decode 500토큰/초 이상의 성능을 제시한다. 자체 도구 어휘에 맞춘 fine-tuning도 Mac·PC에서 지원하며, 웨어러블 기업 Pebble의 Index 01 앱에서 로컬 음성 명령 처리에 사용되고 있다.