AI BriefingvLLM에 Cohere MoE 추가
VLLM PR : New MoE model from Cohere soon
·2026.04.25 01:04
핵심 내용
vLLM에 Cohere MoE 모델 지원 PR이 올라왔다.
자세히 보기
vLLM에 Cohere MoE 지원을 추가하는 PR이 공개됐다.
CohereMoeForCausalLM구현이 포함됐다.FusedMoE설정에 SigmoidRenorm 라우팅 방식이 추가됐다.- 서버는
vllm serve $MODEL_ID --trust-remote-code로 띄우고,/v1/chat/completionsAPI로 호출하는 예제가 제시됐다. - 모델 가중치는 곧 제공될 예정이라고 명시됐다.
- 코드 리뷰에서는 RoPE 적용 범위,
CohereMoeDecoderLayer의 residual 처리,RoutingMethodType의Unspecified타입 일관성 같은 수정 사항이 지적됐다.
이 한국어 요약은 AI가 자동으로 만들었습니다. 원문의 주장과 맥락은 원문에서 확인해 주세요. 저작권은 원저작자에게 있습니다.
