BLOOM 추론 성능 50배 향상 기술 분석

HuggingFace가 대규모 언어 모델인 BLOOM의 추론 서버를 최적화하며 달성한 5배의 지연 시간(latency) 감소와 50배의 처리량(throughput) 향상에 대한 기술적 여정을 공유한다.

주요 최적화 및 구현 과정:

• Transformers 라이브러리 이식: Megatron-DeepSpeed로 학습된 모델을 transformers 라이브러리 환경에서 구동할 수 있도록 포팅하는 작업을 수행했다.
• 효율적인 테스트 전략: 대규모 모델의 반복적인 테스트를 위해 작은 규모의 테스트 모델(예: 560M)을 활용하여 개발 속도를 높였다.
• 엄격한 검증 체계: 모델의 미세한 수치 변화를 감지하기 위해 고정된 프롬프트와 Greedy decoding을 사용하여 결과의 일관성을 확인하는 테스트 스위트를 구축했다.
• 정밀도 및 병렬성 이슈 해결: bfloat16과 float16 간의 차이, 그리고 분산 학습 환경의 Tensor Parallelism 구현 방식에 따른 결과값 차이 문제를 해결하며 성능과 정확도 사이의 최적의 트레이드오프를 찾아냈다.

초기 단계에서는 **파이프라인 병렬화(Pipeline Parallelism)**와 Accelerate를 활용하여 대규모 모델 추론을 위한 기반을 마련했다.