Self-Speculative Decoding 추론 가속화

동일 모델의 초기 레이어를 활용해 텍스트 생성 속도와 메모리 효율을 높이는 Self-Speculative Decoding 기술을 소개한다.

Self-speculative decoding은 별도의 드래프트 모델을 사용하는 기존 방식과 달리, 동일 모델의 초기 레이어를 활용해 토큰을 생성하고 이후 레이어에서 이를 검증하는 기술이다.

이 방식은 텍스트 생성 속도를 높이고 계산 지연 시간(latency)과 메모리 사용량을 대폭 줄여준다. 특히 소형 GPU 환경에서 대규모 모델을 효율적으로 배포하는 데 유리하다.

성능 극대화를 위해 초기 레이어의 출력을 최적화하는 특수 학습법(LayerSkip)이 필요하며, Hugging Face transformers 라이브러리의 assistant_early_exit 인자를 통해 구현할 수 있다.