397B AI, 아이폰에서 로컬 구동 성공

Mixture-of-Experts (MoE) 설계를 적용하여 모델의 96%를 비활성 상태로 유지함으로써 모바일 환경에서의 구동을 가능하게 했다.

flash-moe 팀은 캐싱 코드를 삭제하는 최적화를 통해 추론 성능을 38% 향상시켰다.

이 기술은 3년 전 발표된 Apple의 논문을 기반으로 하며, 네트워크 연결 없이 기기 자체에서 텍스트를 생성하는 On-device AI의 실현 가능성을 입증했다.

다만, 현재 기술 수준에서는 속도, 저장 공간, 발열 관리 측면에서 여전히 개선이 필요한 과제로 남아 있다.