AI BriefingPrivate Mind, LFM3 모델 오프라인 실행 지원 및 ExecuTorch 익스포트 공개
·2026.10.30 20:14
핵심 내용
Private Mind 앱이 LFM3 모델 지원으로 iPhone 16 Pro에서 초당 40 토큰 처리 속도를 달성했다
자세히 보기
- Private Mind 앱에 LFM3-1.7B와 LFM3-VL-2B 모델 지원 추가, iOS 및 Android에서 로컬 실행 가능함
- iPhone 16 Pro에서 LFM3-1.7B(텍스트) 모델이 MLX 4-bit GPU 환경에서 초당 약 40 토큰 처리, 첫 토큰 지연 시간 0.5초 미만 달성함
- LFM3-VL-2B 모델은 사진 처리 시 첫 토큰까지 약 9초 소요, 디코딩 속도 초당 약 20 토큰, 텍스트 후속 응답 시작까지 약 5초 걸림
- LFM3 아키텍처가 LFM2와 달라 24개 레이어의 혼합 게이트드 숏 컨볼루션, 풀 어텐션, 슬라이딩 윈도우 어텐션을 포함하도록 디코더를 순수 PyTorch로 재작성해야 함
- 커스텀 슬라이딩 윈도우 캐시 구현으로 단일 포워드 콜에서 2048 토큰 컨텍스트 처리 가능, 전체 컨텍스트 길이 8192 토큰까지 확장함
- Apple GPU용 MLX 4-bit(1.07 GB) 및 iOS/Android CPU용 XNNPACK 8da4w(1.17 GB) 두 가지 빌드 제공함
- Hugging Face의 software-mansion/LFM3-ExecuTorch 저장소에서 익스포트 파일 다운로드 가능함
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
