저지연 텍스트 생성 'Assisted Generation'

LLM의 텍스트 생성 속도가 느린 핵심 이유는 모델의 포워드 패스(forward pass) 과정에서 발생하는 메모리 대역폭(memory bandwidth) 제한 때문이다. 실제 연산 자체보다 모델의 가중치를 GPU 메모리에서 계산 코어로 로드하는 과정에서 병목이 발생한다.

기존에는 이를 해결하기 위해 다음과 같은 방법들이 사용되어 왔다:

• 하드웨어 특화 최적화: Flash Attention, INT8 양자화 등
• 배칭(Batching): 여러 요청을 동시에 처리하여 처리량(throughput)을 높임

HuggingFace는 이러한 문제를 해결하기 위한 새로운 디코딩 방법론인 Assisted Generation을 제안한다. 이 기법을 활용하면 일반적인 하드웨어에서도 텍스트 생성 지연 시간을 최대 10배까지 단축할 수 있다.