Multi-Token Prediction을 적용하여 Pixel 기기에서 Gemini Nano 모델 가속화하기

Google이 기존 Gemini Nano v3 모델에 Multi-Token Prediction을 결합하여 모바일 환경의 추론 병목 현상을 해결했다.

Gemini Nano와 Gemma 같은 모델은 모바일 기기 내에서 강력한 LLM을 구현할 수 있게 해주지만, 모바일 환경의 극심한 제약 조건으로 인해 모델을 배포하는 데 큰 어려움이 있었다.

Google 연구팀은 이러한 병목 현상을 극복하기 위해 기존의 frozen Gemini Nano v3 모델에 Multi-Token Prediction 기술을 결합한 새로운 아키텍처를 설계했다.

이 새로운 아키텍처 구성 요소들은 모바일 환경의 특수성을 고려하여 설계되었으며, 에지 컴퓨팅(Edge Computing)의 제약 조건을 해결하고 효율성을 극대화하는 데 중점을 두었다.