5.14.12주 전
Patch release: v5.14.1
Inkling 모델의 assisted generation 및 SDPA prefill 관련 버그 수정 및 FP8 커널 업데이트가 포함된 패치 릴리스입니다.
버그 수정
- Inkling 모델 통합 과정에서 발생한 이슈 해결:
- EncoderDecoderCache를 사용하는 모델의 assisted generation 관련 오류 수정
- StaticCache 및 sdpa 사용 시, position_bias가 포함된 prefill 과정에서 발생하는 오류 수정
- OlmoHybrid 모델의 assisted decoding 관련 이슈 수정
- 다중 장치(multiple devices) 환경에서의 deepgemm 관련 오류 수정
성능 및 기타 업데이트
- FP8 지원을 위한 kernels 버전 업데이트