needle3: 8MB 파일로 모바일에서 도구 호출·추출·임베딩 처리
Cactus-Compute/needle3
·2026.09.22 02:48
프로젝트 소개
모바일, 웨어러블, IoT 기기 등 제한된 하드웨어 환경에서 작동하도록 설계된 경량 파운데이션 모델이다. 전체 모델이 8~29MB의 단일 파일로 구성되며, 클라우드 연결 없이 기기 내에서 도구 호출, 구조화된 데이터 추출, 텍스트 임베딩 생성을 수행한다.
사용자의 요청을 분석해 앱이 노출한 함수 중 적절한 것을 선택하고 인자를 채워 넣는다. 출력은 정의된 문법에 따라 강제로 파싱되므로 형식 오류가 없으며, 각 응답에는 신뢰도 점수가 포함된다. 같은 모델로 문장 벡터를 생성해 로컬 검색 및 라우팅에도 활용할 수 있다.
Laddered Simple Attention Network 아키텍처를 적용해 2~20층까지 다양한 깊이의 서브네트워크를 지원한다. LoRA 기반 미세 조정을 통해 특정 제품 도구에 최적화된 소형 모델을 만들 수 있으며, 29M 파라미터부터 DeepSeek V4 Flash급 성능을 달성한다. Apache 2.0 라이선스로 공개되어 상용 프로젝트에도 자유롭게 통합 가능하다.
HuggingFace 모델
Cactus-Compute/needle3
원문에 등록된 설명이 없습니다.
text-generation
이 한국어 소개글은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.