Hugging Face, 추론 속도 100배 가속화 기술 공개

Hugging Face는 자사의 Accelerated Inference API를 위해 Transformer 모델의 추론 성능을 100배까지 끌어올린 최적화 전략을 공개했다.

1단계: 라이브러리 및 알고리즘 최적화 (10배 가속)

• 모델 파이프라인 최적화: GPT 아키텍처 등에서 마지막 토큰의 어텐션에 집중하여 어텐션 행렬 계산의 차원을 줄임으로써 연산량을 감소시킨다.
• Tokenizers 활용: Rust 기반 구현과 스마트 캐싱을 결합하여 토큰화 단계의 지연 시간을 최대 10배 단축한다.

2단계: 하드웨어 맞춤형 컴파일 (추가 10배 가속) 하드웨어(CPU/GPU) 특성에 맞춰 모델을 수정하고 컴파일하는 고난도 최적화 단계이다.

• 그래프 최적화: 사용되지 않는 연산 흐름을 제거한다.
• 레이어 융합(Layer Fusion): 특정 하드웨어 명령어를 사용하여 여러 레이어를 하나로 통합한다.
• 양자화(Quantization): 연산 정밀도를 최적화하여 속도를 높인다.
• ONNX Runtime 통합: Transformers 코드와 ONNX Runtime을 깊게 결합하여 최적의 성능을 도출한다.

이러한 기술적 접근은 대규모 모델을 실시간 소비자 애플리케이션에 배포하기 위한 핵심적인 엔지니어링 과제를 해결하는 데 중점을 둔다.