vllm

버그 수정

• TorchCodec 관련 모델 실행 차단 문제 해결: 시스템에 FFmpeg가 설치되어 있지 않을 경우, TorchCodec을 사용하지 않더라도 import torchcodec 단계에서 RuntimeError가 발생하며 모델 실행이 중단되던 문제를 수정했습니다. 이제 오류가 런타임으로 지연되어, 실제로 TorchCodec이 필요한 경우에만 에러가 발생합니다.
• Mixed-dtype Allreduce RMSNorm 양자화 퓨전 오류 수정: FlashInfer를 이용한 allreduce + RMSNorm + static-quantization 패턴 적용 시, 활성화(activation)와 RMSNorm 가중치의 데이터 타입이 다를 경우(예: BF16 잔차 스트림과 FP32 RMSNorm 가중치 조합) 은닉 상태(hidden state)가 손상되어 !!!!!와 같은 잘못된 토큰이 출력되던 문제를 해결했습니다. 데이터 타입이 일치하지 않는 경우 안전한 경로로 라우팅되도록 가드(guard)를 추가했습니다.