SGLang, Transformers 백엔드 통합

SGLang이 Hugging Face Transformers를 백엔드로 지원하기 시작했다. 이를 통해 SGLang이 네이티브로 지원하지 않는 모델이라도 Transformers 라이브러리를 통해 즉시 고성능 추론 엔진에서 실행할 수 있다.

이 통합은 Transformers의 유연성과 SGLang의 추론 성능을 결합한다. 사용자는 SGLang의 RadixAttention과 같은 메모리 효율적인 메커니즘을 활용하면서도, Hugging Face Hub의 최신 모델이나 커스텀 모델을 별도의 엔지니어링 작업 없이 바로 배포할 수 있다.

주요 특징 및 사용법:

• 자동 폴백(Fallback): SGLang이 네이티브로 지원하지 않는 모델을 감지하면 자동으로 Transformers 구현체로 전환한다.
• 커스텀 모델 지원: trust_remote_code=True 설정을 통해 Hugging Face의 다양한 커스텀 모델을 즉시 사용할 수 있다.
• 간편한 설정: sgl.Engine 생성 시 impl="transformers" 파라미터를 지정하여 사용한다.