모든 모델용 UAG 기술 공개

기존 Assisted Generation(Speculative Decoding)은 타겟 모델과 어시스턴트 모델이 동일한 토크나이저를 공유해야 한다는 제약이 있었습니다. 이로 인해 특정 모델군(예: Gemma-2, Mixtral)은 추론 가속에 적합한 충분히 작고 정확한 어시스턴트 모델을 활용하기 어려웠습니다.

Intel Labs와 Hugging Face가 공동 개발한 **Universal Assisted Generation (UAG)**은 토크나이저가 서로 다른 모델 쌍을 사용할 수 있도록 지원합니다. 예를 들어, gemma-2-9b를 타겟으로 vicuna-68m과 같은 전혀 다른 계열의 초소형 모델을 어시스턴트로 사용할 수 있습니다.

핵심 기술 및 특징:

• 2-way Tokenizer Translation: 어시스턴트가 생성한 토큰을 텍스트로 변환한 후, 타겟 모델의 토크나이저로 다시 인코딩하여 정렬하는 방식을 사용합니다.
• 추론 가속: 어떤 디코더나 MoE 모델이라도 1.5x~2.0x의 속도 향상을 기대할 수 있습니다.
• 낮은 오버헤드: 토크나이저 간 변환 과정에서 발생하는 오버헤드가 거의 없습니다.